유승훈

우리가 활용하는 데이터 중에서는 Sequential Data가 많습니다. 예를 들어 음성인식, 자연어 같은 데이터가 있습니다. 이는 한 단어나 한 부분이 아니라, 순서가 중요한 의미를 갖는 데이터입니다. 순서가 흐트러지면 그 의미를 잃게 되는 것입니다. 앞서 배웠던 NN, CNN은 Input이 Network를 거쳐 Output을 만드는 단순한 구조이기 때문에 Sequential한 데이터를 처리할수는 없습니다. 그림과 같이 네트워크가 구성됩니다. $X0$로 계산된 어떤 상태(State)가 그 다음 연산에 영향을 미칩니다. 연산의 중간 과정에서 이전의 State가 영향을 미치는 것입니다. 계속 이전의 결과에 영향을 받기 때문에, 순서가 중요한 Sequence 데이터를 다루기에 좋은 구조인 것 같습니다. Re..

우리가 지금까지 했던 Neural Network들은 모든 뉴런들이 연결된, Fully Connected(FC) Network 였습니다. 하지만, X를 여러개로 나눈 뒤에, 하나로 합쳐서 앞으로 보내는 구조도 생각해볼 수 있습니다. 이것이 이번 강의에서 배우는 Convolutional Neural Network(CNN)의 기본개념입니다. CNN은 고양이에게 한 실험에서 시작되었습니다. 고양이에게 여러 형태의 그림을 보여주었는데, 그림마다 활성화되는 뉴런들이 다른것을 발견했습니다. 여기서 착안하여 데이터를 통째로 쓰는 것이 아니라, 여러 조각으로 잘라서 Network에 학습시키는 것을 생각해냈습니다. 이미지를 여러개로 누너어서, Input으로 넘겨준 뒤에, Activation Function을 거칩니다. 이..

지난시간에는 Neural Network로 XOR을 푸는 것에 대해서 알아보았는데요, 이번에는 모델을 만들면서 사용되는 함수나 테크닉들에 대해서 소개하고 있습니다. 기존의 Neural Network 구조에 대해서 복습하면, 어떤 Input이 Network를 거쳐 Output을 만들어냅니다. 모델이 계산해 낸 Output과 실제 Output간의 차이를 Loss라고 하는데요. 이 Loss를 미분한 값을 Backpropagation 하면서 Network를 학습해나갑니다. Loss를 미분한 값을 Gradient라고 하고, 이 Gradient는 기울기입니다. 이 Sigmoid 함수를 보면, 파란색으로 표시된 영역은 기울기가 큽니다. 기울기가 크다는 것은 변화량이 크다는 것을 의미하죠. 반면 빨간색으로 표시된 영역,..

Logistic Regression 같은 하나의 모델, 유닛으로는 XOR을 풀 수가 없음이 수학적으로 증명되기도 했습니다. 이는 초창기 Neural Net이 각광받지 못한 이유기도 합니다. 하지만 하나가 아니라 여러개를 합치면, 풀 수 있습니다. 그런데 복잡한 모델에서의 Weight와 Bias를 학습시키기가 쉽지 않다는 한계가 있었습니다. 그렇다면 XOR을 어떻게 푸는지 살펴보겠습니다. X를 Input으로 받는 유닛을 두개 만들고, 각 결과인 Y1, Y2를 Input으로 받는 유닛을 한개 만들었습니다. 각 유닛은 고유의 Weight와 Bias를 갖고 있습니다. X1, X2를 기반으로 각 유닛에서 Y1, Y2를 계산하고, Y1,Y2로 Y_hat을 계산합니다. 모든 유닛은 Wx+b이고, 모든 유닛은 마지막에..