유승훈

우리가 지금까지 했던 Neural Network들은 모든 뉴런들이 연결된, Fully Connected(FC) Network 였습니다. 하지만, X를 여러개로 나눈 뒤에, 하나로 합쳐서 앞으로 보내는 구조도 생각해볼 수 있습니다. 이것이 이번 강의에서 배우는 Convolutional Neural Network(CNN)의 기본개념입니다. CNN은 고양이에게 한 실험에서 시작되었습니다. 고양이에게 여러 형태의 그림을 보여주었는데, 그림마다 활성화되는 뉴런들이 다른것을 발견했습니다. 여기서 착안하여 데이터를 통째로 쓰는 것이 아니라, 여러 조각으로 잘라서 Network에 학습시키는 것을 생각해냈습니다. 이미지를 여러개로 누너어서, Input으로 넘겨준 뒤에, Activation Function을 거칩니다. 이..

지난시간에는 Neural Network로 XOR을 푸는 것에 대해서 알아보았는데요, 이번에는 모델을 만들면서 사용되는 함수나 테크닉들에 대해서 소개하고 있습니다. 기존의 Neural Network 구조에 대해서 복습하면, 어떤 Input이 Network를 거쳐 Output을 만들어냅니다. 모델이 계산해 낸 Output과 실제 Output간의 차이를 Loss라고 하는데요. 이 Loss를 미분한 값을 Backpropagation 하면서 Network를 학습해나갑니다. Loss를 미분한 값을 Gradient라고 하고, 이 Gradient는 기울기입니다. 이 Sigmoid 함수를 보면, 파란색으로 표시된 영역은 기울기가 큽니다. 기울기가 크다는 것은 변화량이 크다는 것을 의미하죠. 반면 빨간색으로 표시된 영역,..

Logistic Regression 같은 하나의 모델, 유닛으로는 XOR을 풀 수가 없음이 수학적으로 증명되기도 했습니다. 이는 초창기 Neural Net이 각광받지 못한 이유기도 합니다. 하지만 하나가 아니라 여러개를 합치면, 풀 수 있습니다. 그런데 복잡한 모델에서의 Weight와 Bias를 학습시키기가 쉽지 않다는 한계가 있었습니다. 그렇다면 XOR을 어떻게 푸는지 살펴보겠습니다. X를 Input으로 받는 유닛을 두개 만들고, 각 결과인 Y1, Y2를 Input으로 받는 유닛을 한개 만들었습니다. 각 유닛은 고유의 Weight와 Bias를 갖고 있습니다. X1, X2를 기반으로 각 유닛에서 Y1, Y2를 계산하고, Y1,Y2로 Y_hat을 계산합니다. 모든 유닛은 Wx+b이고, 모든 유닛은 마지막에..

이번 강의에서는 딥러닝, 머신러닝에 대한 설명이나 활용보다는 역사가 어떻게 흐르면서 발전했는지를 설명합니다. 인류가 기계에 있어 궁극적으로 삼는 목표는, 사람을 대신해서 귀찮은 일을 해결해주는 기계를 만드는 것입니다. 사람을 대신해서 일을 시키려면, 먼저 인간이 어떻게 생각하는가?에 대한 이해가 필요했습니다. 연구결과 뇌의 구조는 상당히 복잡하지만, 뇌를 이루는 각 Unit인 뉴런은 상당히 단순하게 동작한다는 것을 알 수 있었습니다. 뉴런은 Input에 대해 각자의 Weight를 갖고 합쳐지고, Bias를 더해 그 다음 단계로 넘어가는 방식으로 동작하고 있었습니다. 또 이 값이 정해진 어떤 값 이상이면 활성화되고, 아니면 활성화되지 않는다는것도 알 수 있었습니다. 연구자들은 이런 형태의 구조는 수학적 구..