유승훈

지난시간에는 Neural Network로 XOR을 푸는 것에 대해서 알아보았는데요, 이번에는 모델을 만들면서 사용되는 함수나 테크닉들에 대해서 소개하고 있습니다. 기존의 Neural Network 구조에 대해서 복습하면, 어떤 Input이 Network를 거쳐 Output을 만들어냅니다. 모델이 계산해 낸 Output과 실제 Output간의 차이를 Loss라고 하는데요. 이 Loss를 미분한 값을 Backpropagation 하면서 Network를 학습해나갑니다. Loss를 미분한 값을 Gradient라고 하고, 이 Gradient는 기울기입니다. 이 Sigmoid 함수를 보면, 파란색으로 표시된 영역은 기울기가 큽니다. 기울기가 크다는 것은 변화량이 크다는 것을 의미하죠. 반면 빨간색으로 표시된 영역,..