유승훈

강의에서 예전 그림책 중에 선택에 따라 페이지가 넘어가면서 스토리가 진행되는 책 얘기를 하면서 세 알고리즘을 직접 공부하고, 코드를 돌려 결과를 비교하는 과제를 냈습니다. 원래는 세 알고리즘 중 하나만 공부하면 되는데, 세개 다 보기로 했습니다. 공부 내용은 Udacity 카테고리가 아니라 Machine Learning 카테고리에 올려두었습니다. Random Forest Random Forest Udacity의 Machine Learning 강의 중 알고리즘을 스스로 공부하는 파트에서 Random Forest를 공부하다가 Youtube 강의를 기반으로 해서 여러 글들을 보고 정리한 내용이다. 유튜브 강의 링크 이번 글에서 설 seunghuni96.tistory.com AdaBoost AdaBoost Ud..

Udacity의 Machine Learning 강의 중 알고리즘을 스스로 공부하는 파트에서 Random Forest를 공부하다가 Youtube 강의를 기반으로 해서 여러 글들을 보고 정리한 내용입니다. 유튜브 강의 링크 이번 글에서 설명할 Random Forest는 Decision Tree를 기반으로 하는 알고리즘입니다. Decision Tree는 몇가지 단점을 가지고 있습니다. 그 중 가장 큰 문제가 Overfitting인데, 가지치기를 하더라도 완벽하게 해결되지는 않습니다. 따라서 Decision Tree를 여러개 만들어서 결과를 합치는 앙상블 방식을 활용합니다. 앙상블 모델에도 여러가지 종류가 있는데, Decision Tree를 Base Model로 하는 것이 Random Forest입니다. Ran..

Decision Tree는 분류(Classification)와 회귀(Regression)문제를 둘 다 풀 수 있는 알고리즘입니다. 변수들에 조건을 붙여서 데이터들을 분류하는 방식으로 모델을 만듭니다. 데이터를 나눌때 우리는 Decision Boundary를 설정합니다. 데이터를 어떤 변수를 기준으로 어떻게 Split할지를 정하는 것입니다. 가장 위의 그림을 보면, 파란색(Fast)과 빨간색(Slow) 각 Class에서 3개의 Data Point 때문에 Decision Boundary가 길게 삐져나와 있는 것을 볼 수 있습니다. 극히 일부의 데이터 때문에 분류영역이 생성된 것인데, 이는 Overfitting(과적합) 문제를 의심해볼 수 있습니다. Decision Tree의 Parameter들을 통해 이를 ..