코딩일기

안녕하십니까 다제입니다. 오늘은 GBM에 대해서 알아보도록 하겠습니다. 해당 자료는 구글링, 고려대 강필성교수님, 이수안연구소, StatQuest를 통해 학습한 내용을 정리한 포스터 입니다. 본 포스터는 머신러닝을 학습하지 않은 분들에게 다소 이질적으로 느껴지실 수 있음을 사전에 안내드립니다. 1. GBM의 개념(Gradient Boost Model) -. 여러 개의 머신러닝으로 구성된 모델은 모집단의 약 80%의 데이터를 학습하고 약 20%를 예측하는데 사용합니다. -. 이때 여러 개의 머신러닝은 순차적으로 구성이 되며, 머신러닝이 예측한 값과 실제 데이터 값 사이의 차이를 "잔차"라고 합니다. -. 첫번째 생성된 머신러닝이 발생시킨 잔차를 두번째 생성된 머신러닝이 학습하게 되며, N번째까지 반복적으로..

안녕하십니까 다제입니다. 지금까지 배웠던 내용에 편향-분산 트레이트오프 관점으로 잠깐 복습해 볼까요? Bagging - 편향↓ 분산↑ 효과를 줌 ( 즉, 편향↑, 분산↓은 데이터에 적용하면 좋음 ) Boosting - 편향↑ 분산↓ 효과를 줌 ( 즉, 편향↓, 분산↑은 데이터에 적용하면 좋음 ) 그럼 Boosting은 어떻게 위와 같은 효과를 주는 살펴보고 그중에서도 AdaBoost가 어떻게 작동하는지에 대해서 알아보도록 하겠습니다. 그러기 위해서는 일단 Bagging과 Boosting의 차이를 알아봐야겠죠? ** 목차 ** 1. Bagging vs Boosting 2. AdaBoost의 개념 3. AdaBoost의 장점 & 단점 1. Bagging vs Boosting -. 공통점 Bagging과 Bo..

안녕하십니까 다제입니다. 오늘은 RandomForest에 대해서 알아보고자 합니다. 해당 포스팅은 1) 고려대학교 강필성 교수님의 수업자료 2) 코드스테이츠 부트캠프 3) StatQuest 유튜브 등을 참고하여 제가 이해한 내용을 바탕으로 포스팅을 진행하였음을 사전 안내드립니다. ※ 이미지 출처 : github.com/pilsung-kang/Business-Analytics-ITS504- RandomForest에서는 bagging과 달라진 점은 트리를 형성 할 때 feature를 모두 사용하지 않는다는 점입니다. 잉? 이게 무슨 말이야? feature를 모두 사용해서 만들어야 조금이나마 강력한 모델을 만들 수 있잖아 라고 반문하실 수 있습니다. 그런데 RandomForest에서는 강한 모델을 만드는 게 ..