유승훈

지난시간에는 Neural Network로 XOR을 푸는 것에 대해서 알아보았는데요, 이번에는 모델을 만들면서 사용되는 함수나 테크닉들에 대해서 소개하고 있습니다. 기존의 Neural Network 구조에 대해서 복습하면, 어떤 Input이 Network를 거쳐 Output을 만들어냅니다. 모델이 계산해 낸 Output과 실제 Output간의 차이를 Loss라고 하는데요. 이 Loss를 미분한 값을 Backpropagation 하면서 Network를 학습해나갑니다. Loss를 미분한 값을 Gradient라고 하고, 이 Gradient는 기울기입니다. 이 Sigmoid 함수를 보면, 파란색으로 표시된 영역은 기울기가 큽니다. 기울기가 크다는 것은 변화량이 크다는 것을 의미하죠. 반면 빨간색으로 표시된 영역,..

Logistic Regression 같은 하나의 모델, 유닛으로는 XOR을 풀 수가 없음이 수학적으로 증명되기도 했습니다. 이는 초창기 Neural Net이 각광받지 못한 이유기도 합니다. 하지만 하나가 아니라 여러개를 합치면, 풀 수 있습니다. 그런데 복잡한 모델에서의 Weight와 Bias를 학습시키기가 쉽지 않다는 한계가 있었습니다. 그렇다면 XOR을 어떻게 푸는지 살펴보겠습니다. X를 Input으로 받는 유닛을 두개 만들고, 각 결과인 Y1, Y2를 Input으로 받는 유닛을 한개 만들었습니다. 각 유닛은 고유의 Weight와 Bias를 갖고 있습니다. X1, X2를 기반으로 각 유닛에서 Y1, Y2를 계산하고, Y1,Y2로 Y_hat을 계산합니다. 모든 유닛은 Wx+b이고, 모든 유닛은 마지막에..

이번 강의에서는 딥러닝, 머신러닝에 대한 설명이나 활용보다는 역사가 어떻게 흐르면서 발전했는지를 설명합니다. 인류가 기계에 있어 궁극적으로 삼는 목표는, 사람을 대신해서 귀찮은 일을 해결해주는 기계를 만드는 것입니다. 사람을 대신해서 일을 시키려면, 먼저 인간이 어떻게 생각하는가?에 대한 이해가 필요했습니다. 연구결과 뇌의 구조는 상당히 복잡하지만, 뇌를 이루는 각 Unit인 뉴런은 상당히 단순하게 동작한다는 것을 알 수 있었습니다. 뉴런은 Input에 대해 각자의 Weight를 갖고 합쳐지고, Bias를 더해 그 다음 단계로 넘어가는 방식으로 동작하고 있었습니다. 또 이 값이 정해진 어떤 값 이상이면 활성화되고, 아니면 활성화되지 않는다는것도 알 수 있었습니다. 연구자들은 이런 형태의 구조는 수학적 구..

앞서 배웠던 머신러닝에서 개념적인 부분이 아니라 실제 적용을 위해서 필요한 내용들을 살펴봅니다. Gradient Descent. 경사하강법에서 Learning Rate는 기울기로 Weight를 업데이트할 때 기울기를 얼만큼 반영할지에 대한 지표입니다. Tensorflow에서도 기울기와 Learning Rate를 통해 실제 모델값을 최적의 값으로 업데이트 할 수 있습니다. 이 Learning Rate에 따라 모델의 학습 성능이 달라집니다. 보통은 0.01의 작은 값을 사용합니다. 꼭 0.01을 써야 하는 것은 아니고, 적절한 값을 찾아야 합니다. 너무 큰 Learning Rate는 Cost가 낮아지는 것이 아니라 오히려 커지는 방향으로 업데이트가 이루어질 수 있습니다. 너무 작은 Learning Rate는..