Dev. Oratorium : For Mobile, By Mobile

Summaray

1. Classification Problem Settings

2. Learning Problem

 - Reference Representation [One-Hot Representation]

 - Scoring Normalization [Softmax]

 - Cost Function Design [Cross-Entropy]

 - Parameter update [ Back-propagation]

3. Linear & Non-Linear

 - Activation Functions

Neural Network 계산식은 Weighted Sum.

모델을 학습한다 = weight값을 찾아냄

Score의 의미는?

- 상대적인 우월 정도만 보여주는 relative score

- 모르는 것에 대해 모른다고 이야기 할 수 없는 구조: 즉, 어떻게든 설정한 4가지 class 안에 규정하는 것

정답 데이터 표현 방법 (http://hugman.re.kr/blog/ref_design/)

- One-Hot Representation: 표현하고자하는 class만 1.0이고, 나머지는 모두 0.0으로 표현하는 방법.

ex. 

• 긍정(Positive)   = [1,0,0,0]
• 부정(Negative) = [0,1,0,0]
• 중립(Neutral)   = [0,0,1,0]
• 객관(Objective)=[0,0,0,1]

-여기서 미분을 취해서, 미분이 작아지는 방향으로 학습하겠다 -> Gradient Descent

global minimum, 혹은 local minimum.

(Gradient Descent의 문제점: 운이 좋으면 global이겠지만, 잘못된 위치에서 시작하면 local에서 맴돌 가능성을 배제할 수 없음.)

2차원으로 따지자면 선을 다시 한번 새로 긋는 것.

다차원으로 가도 parameter w를 정하는 것.

모든 점을 설명하는 직선 하나를 정할 때, 몇개의 점을 보고서 정할 것인지를 batch size라고 함.

(ex. batch size=3, 3개의 점을 보고 직선을 정한다.)

전문가들은 50~128 사이에서 많이 쓰지만, 정답은 없음. 경험에 맞춰서, 데이터수, 클래스에 따라서 size를 정함.

이 사진은 항상 자주 나오던 문제라 ㅋㅋㅋㅋ 스킵.

선형으로만 이루어진 layer는 1개의 선일 뿐.

deep neural network layer를 쌓기 위해서는 Non-linear combination으로 해야함.

이와같은 Non-linear, 즉 Activation Function은 여러개가 있음.

대표적인 함수는 Sigmoid, tanh, ReLU. 공통점은 미분이 된다는 것. (미분이 안될 경우, back propagation을 못함)

Sequence To Sequence Learning

*정의: 일련의 데이터가 순서를 가지고 들어옴. 그것과 대응하는 혹은 관련을 가지는 또다른 차원의 데이터가 순서를 가지고 들어옴.

그랬을 때 두 데이터의 사이의 연관성 혹은 관계를 알아서 학습할 수 있는 방법론이 있다면, 이를 Sequence to sequence라고 부르자는 것.

Sequence 데이터가 들어왔을때 (즉 Sequence가 feeding 되었을 때),

Sequence를 Generation하는 문제로 풀 수 있음

아래의 Sequence를 N, 위를 M이라 했을 때, 그 수는 같을 수도(대응 N=M) 다를 수도(비대응 N≠M) 있다. 

이와 같은 문제의 예는 수도 없이 많음.

대표적인 자연어처리 문제인 형태소 분석기도 Sequence to sequence 문제.

수학문제, Machine Translation 등등

S2S Deep Learning Approach

1) 여러번(독립적으로) Prediction

    과거의 방식은 단순히 N번(여러번) 진행함.

2) 여러번(독립적으로) Prediction+Convolution Idea

    더 나아가, 주변 값을 참고하며 진행하도록 함.

3) Sequence Modeling

   기억: 과거의 어떤 것(ex. 행위)이 현재에 영향을 미치는 것

   그림의 빨간선 = 기억

(내가 어떤 결정을 내릴 때, 결정을 내린 이유는 과거에 어떤 이유가 있기 때문. 

 그 이유에 의해서 행위를 하게 되고, 자연스럽게 내가 내린 행위가 다음번 행위에 영향을 미친다.)

결과물이 다음번의 입력으로 다시 들어오기에 recurrent neural network라고 부름

Recurrent Neural Network의 메모리 능력 때문에 많은 application을 풀 수 있음.

그러나 한계점이 존재.

1) x1에서 온 정보 - 즉 숫자가 x4까지 곱하기 등의 연산으로 이어려면 멀기 때문에 x1의 데이터가 제대로 전달이 안될 수 있음.

2) x1에서 좋은 정보가 전달 되다가, x3에서 (너무 크던지 너무 작던지) 이상한 값이 들어오게 될 경우, 값이 극심하게 손상 될 수 있음.

basic RNN은 학습이 잘 안된다는 한계에 부딛힘. 이를 극복한 아이디어가 1980년대에 이미 나왔음.

그 중 하나인 LSTM은 전체적인 RNN의 구조를 가지나, Memory Cell에 3가지 gate(정보를 한번 더 가공 - 기억할 건지 버릴건지 등)를 설정함.

cell마다 데이터를 통해 gate를 학습하기 때문에, 학습 시 시간이 오래걸린다는 단점이 존재함. 

GRU(Gated Recurrent Unit)은 LSTM에서 계산 수식을 하나 줄임으로 조금 더 가볍다는 특징을 가짐.

대표적인 N to N 문제

- Temporal Summarization: Recurrent Neural Network

Data Transformation에 'Temporal 정보(=시계열)'를 반영할 수 없을까? 

데이터 2를 2차원으로 변형하는 판을 W라 했을 때,

이를 계산할 때 도움이 되는 또다른 W^C라는 정보가 있다고 가정하자. 

그리고 이 도움이 되는 정보는 데이터 1으로 부터 온다고 가정하자.

이랬을 때, W^C는 Context임.

이를 간단하게 표현하면 다음과 같다.

RNN도 다양한 변형이 가능하다.

*RNN의 input/output

1) input 데이터에 대응하는 output 데이터를 만들어 낼 수 있음

2) input 데이터를 temporal한 정보를 반영하여 요약할 수 있음

Sequence Decoding

Basic RNN 모델의 한계

1) 기억력 문제

2) 구조적인 문제 - 해결방법: Global Summarization

플레이스홀더에 대해서 알아보면, 플레이스 홀더의 위의 그래프에서 x 즉 입력값을 저장하는 일종의 통(버킷)이다.

tf.placeholder(dtype,shape,name)

으로 정의된다.

플레이스 홀더 정의에 사용되는 변수들을 보면

• dtype : 플레이스홀더에 저장되는 데이타형이다. tf.float32와 같이 실수,정수등의 데이타 타입을 정의한다.

• shape : 행렬의 차원을 정의한다. shapre=[3,3]으로 정의해주면, 이 플레이스홀더는 3x3 행렬을 저장하게 된다.

• name : name은 이 플레이스 홀더의 이름을 정의한다. name에 대해서는 나중에 좀 더 자세하게 설명하도록 하겠다.)