Dev. Oratorium : For Mobile, By Mobile

Intro

1. OSI 7 Layers

2. TCP/IP 4 Layers

3. HTTP Message

1. OSI 7 Layers

1) Physical Layer는 UTP/STP/FTP 등과 같은 랜선 케이블 단을 의미함.

2) Datalink Layer는 스위치(허브)를 의미함 : 연결한 랜선을 통해서 출발 MAC주소에서 목적 MAC주소로 데이터가 전송됨.

3) Network Layer는 라우터를 의미함 : 라우터는 시작 IP주소와 도착 IP주소가 있을 시, 외부 네트워크와 IP 간의 정보를 주고 받는 계층

4) Transport Layer는 TCP/UDP를 의미함 : 연결된 두 컴퓨터간의 정보를 어떻게 주고 받을 것인가? 아무런 손실도 없이 100% 주고 받을 수 없기 때문에, 전송의 안정성과 신뢰성 및 속도를 고려하여 TCP 및 UDP 방법이 있음. TCP는 정보의 신뢰성이 매우 높음. UDP는 동영상 매체(ex. TV)에서 많이 사용함. Port 번호 - 네트워크가 연결 되었을 시, 응용 프로그램에 대한 번호라고 볼 수 있음. 해당 정보가 어느 자리로 갈 것인지를 port 개념으로 이용. Web service의 경우 일반적으로 80번의 port에서 사용함. 

5)~7) Session Layer, Presentation Layer, Application Layer (생략)

2. TCP/IP 4 Layers

3. HTTP Message

추가예정

Summaray

1. Classification Problem Settings

2. Learning Problem

 - Reference Representation [One-Hot Representation]

 - Scoring Normalization [Softmax]

 - Cost Function Design [Cross-Entropy]

 - Parameter update [ Back-propagation]

3. Linear & Non-Linear

 - Activation Functions

Neural Network 계산식은 Weighted Sum.

모델을 학습한다 = weight값을 찾아냄

Score의 의미는?

- 상대적인 우월 정도만 보여주는 relative score

- 모르는 것에 대해 모른다고 이야기 할 수 없는 구조: 즉, 어떻게든 설정한 4가지 class 안에 규정하는 것

정답 데이터 표현 방법 (http://hugman.re.kr/blog/ref_design/)

- One-Hot Representation: 표현하고자하는 class만 1.0이고, 나머지는 모두 0.0으로 표현하는 방법.

ex. 

• 긍정(Positive)   = [1,0,0,0]
• 부정(Negative) = [0,1,0,0]
• 중립(Neutral)   = [0,0,1,0]
• 객관(Objective)=[0,0,0,1]

-여기서 미분을 취해서, 미분이 작아지는 방향으로 학습하겠다 -> Gradient Descent

global minimum, 혹은 local minimum.

(Gradient Descent의 문제점: 운이 좋으면 global이겠지만, 잘못된 위치에서 시작하면 local에서 맴돌 가능성을 배제할 수 없음.)

2차원으로 따지자면 선을 다시 한번 새로 긋는 것.

다차원으로 가도 parameter w를 정하는 것.

모든 점을 설명하는 직선 하나를 정할 때, 몇개의 점을 보고서 정할 것인지를 batch size라고 함.

(ex. batch size=3, 3개의 점을 보고 직선을 정한다.)

전문가들은 50~128 사이에서 많이 쓰지만, 정답은 없음. 경험에 맞춰서, 데이터수, 클래스에 따라서 size를 정함.

이 사진은 항상 자주 나오던 문제라 ㅋㅋㅋㅋ 스킵.

선형으로만 이루어진 layer는 1개의 선일 뿐.

deep neural network layer를 쌓기 위해서는 Non-linear combination으로 해야함.

이와같은 Non-linear, 즉 Activation Function은 여러개가 있음.

대표적인 함수는 Sigmoid, tanh, ReLU. 공통점은 미분이 된다는 것. (미분이 안될 경우, back propagation을 못함)

Sequence To Sequence Learning

*정의: 일련의 데이터가 순서를 가지고 들어옴. 그것과 대응하는 혹은 관련을 가지는 또다른 차원의 데이터가 순서를 가지고 들어옴.

그랬을 때 두 데이터의 사이의 연관성 혹은 관계를 알아서 학습할 수 있는 방법론이 있다면, 이를 Sequence to sequence라고 부르자는 것.

Sequence 데이터가 들어왔을때 (즉 Sequence가 feeding 되었을 때),

Sequence를 Generation하는 문제로 풀 수 있음

아래의 Sequence를 N, 위를 M이라 했을 때, 그 수는 같을 수도(대응 N=M) 다를 수도(비대응 N≠M) 있다. 

이와 같은 문제의 예는 수도 없이 많음.

대표적인 자연어처리 문제인 형태소 분석기도 Sequence to sequence 문제.

수학문제, Machine Translation 등등

S2S Deep Learning Approach

1) 여러번(독립적으로) Prediction

    과거의 방식은 단순히 N번(여러번) 진행함.

2) 여러번(독립적으로) Prediction+Convolution Idea

    더 나아가, 주변 값을 참고하며 진행하도록 함.

3) Sequence Modeling

   기억: 과거의 어떤 것(ex. 행위)이 현재에 영향을 미치는 것

   그림의 빨간선 = 기억

(내가 어떤 결정을 내릴 때, 결정을 내린 이유는 과거에 어떤 이유가 있기 때문. 

 그 이유에 의해서 행위를 하게 되고, 자연스럽게 내가 내린 행위가 다음번 행위에 영향을 미친다.)

결과물이 다음번의 입력으로 다시 들어오기에 recurrent neural network라고 부름

Recurrent Neural Network의 메모리 능력 때문에 많은 application을 풀 수 있음.

그러나 한계점이 존재.

1) x1에서 온 정보 - 즉 숫자가 x4까지 곱하기 등의 연산으로 이어려면 멀기 때문에 x1의 데이터가 제대로 전달이 안될 수 있음.

2) x1에서 좋은 정보가 전달 되다가, x3에서 (너무 크던지 너무 작던지) 이상한 값이 들어오게 될 경우, 값이 극심하게 손상 될 수 있음.

basic RNN은 학습이 잘 안된다는 한계에 부딛힘. 이를 극복한 아이디어가 1980년대에 이미 나왔음.

그 중 하나인 LSTM은 전체적인 RNN의 구조를 가지나, Memory Cell에 3가지 gate(정보를 한번 더 가공 - 기억할 건지 버릴건지 등)를 설정함.

cell마다 데이터를 통해 gate를 학습하기 때문에, 학습 시 시간이 오래걸린다는 단점이 존재함. 

GRU(Gated Recurrent Unit)은 LSTM에서 계산 수식을 하나 줄임으로 조금 더 가볍다는 특징을 가짐.

대표적인 N to N 문제

- Temporal Summarization: Recurrent Neural Network

Data Transformation에 'Temporal 정보(=시계열)'를 반영할 수 없을까? 

데이터 2를 2차원으로 변형하는 판을 W라 했을 때,

이를 계산할 때 도움이 되는 또다른 W^C라는 정보가 있다고 가정하자. 

그리고 이 도움이 되는 정보는 데이터 1으로 부터 온다고 가정하자.

이랬을 때, W^C는 Context임.

이를 간단하게 표현하면 다음과 같다.

RNN도 다양한 변형이 가능하다.

*RNN의 input/output

1) input 데이터에 대응하는 output 데이터를 만들어 낼 수 있음

2) input 데이터를 temporal한 정보를 반영하여 요약할 수 있음

Sequence Decoding

Basic RNN 모델의 한계

1) 기억력 문제

2) 구조적인 문제 - 해결방법: Global Summarization

플레이스홀더에 대해서 알아보면, 플레이스 홀더의 위의 그래프에서 x 즉 입력값을 저장하는 일종의 통(버킷)이다.

tf.placeholder(dtype,shape,name)

으로 정의된다.

플레이스 홀더 정의에 사용되는 변수들을 보면

• dtype : 플레이스홀더에 저장되는 데이타형이다. tf.float32와 같이 실수,정수등의 데이타 타입을 정의한다.

• shape : 행렬의 차원을 정의한다. shapre=[3,3]으로 정의해주면, 이 플레이스홀더는 3x3 행렬을 저장하게 된다.

• name : name은 이 플레이스 홀더의 이름을 정의한다. name에 대해서는 나중에 좀 더 자세하게 설명하도록 하겠다.)