유승훈

Udacity의 Machine Learning 강의 중 알고리즘을 스스로 공부하는 파트에서 AdaBoost를 공부하다가 Youtube 강의를 기반으로 해서 여러 글들을 보고 정리한 내용입니다. 유튜브 강의 Adaboost는 크게 세 가지 Concept로 설명할 수 있습니다. 영상에서는 이전에 했던 Decision Tree나 Random Forest와 비교하여 설명하고 있습니다. 첫번째는 Random Forest는 완전히 성장하고, 미리 정해진 깊이가 없는 의사결정나무를 만드는 반면, AdaBoost는 하나의 Node와 두개의 Leaves를 갖는 Tree를 만듭니다. 이 Tree를 Stump라고 합니다. AdaBoost는 Stump들로 이루어진 Forest입니다. 물론 개별 Stump들은 좋은 분류기는 아..

Udacity의 Machine Learning 강의 중 알고리즘을 스스로 공부하는 파트에서 Random Forest를 공부하다가 Youtube 강의를 기반으로 해서 여러 글들을 보고 정리한 내용입니다. 유튜브 강의 링크 이번 글에서 설명할 Random Forest는 Decision Tree를 기반으로 하는 알고리즘입니다. Decision Tree는 몇가지 단점을 가지고 있습니다. 그 중 가장 큰 문제가 Overfitting인데, 가지치기를 하더라도 완벽하게 해결되지는 않습니다. 따라서 Decision Tree를 여러개 만들어서 결과를 합치는 앙상블 방식을 활용합니다. 앙상블 모델에도 여러가지 종류가 있는데, Decision Tree를 Base Model로 하는 것이 Random Forest입니다. Ran..

데이콘 심리성향 예측 경진대회에 참가하던 중 LightGBM을 사용해보고자 관련 문서를 찾아봤는데, 관련 문서를 공부하는 겸해서 번역, 정리해두고자 합니다. LightGBM? LightGBM이란 Tree Based Gradient Boosting 알고리즘입니다. 다른 Tree Based 알고리즘들은 Tree를 수평으로 확장시키는 반면, LightGBM은 Tree를 수직으로 확장시킵니다. Leaf-wise라 함은, Tree가 확장될 때 최대 손실값을 가지는 잎을 선택합니다. 같은 잎을 확장시킨다고 할 때, Level-wise보다 Leaf-wise 알고리즘이 손실을 더 줄일 수 있습니다. 그렇다면 LightGBM은 왜 유명한가? 데이터의 크기는 계속해서 커지고 있고, 기존의 알고리즘들로는 계속해서 커지고 있..