9장 텍스트 분류 - 순환신경망 (1)

9-1 순차 데이터와 순환 신경망

- 순차 데이터

시계열(time series) 데이터 : 일정 시간 간격으로 배치된 데이터

순차 데이터(sequential data) : 시계열 데이터와 같이 샘플에 순서가 있는 데이터

타임 스텝(time step) : 모델에서 순차 데이터를 처리하는 각 단계

완전 연결 신경망에 순차 데이터가 주입되는 모습

- 순환 신경망

뉴런의 출력이 순환되는 신경망

은닉층의 출력이 다시 은닉층의 입력으로 사용 됨

순환 신경망에서 층이나 뉴런을 셀(cell)이라고 함

각 뉴런마다 순환 구조를 표현하기 번거로워 셀 하나에 순환 구조 나타냄

순환 신경망에서는 셀의 출력을 은닉 상태(hidden state)라고 함

- 순환 신경망의 역방향 계산

가중치 W2에 대한 손실 함수의 도함수 구하기

H에 대한 Z2의 도함수 구하기

H에 대한 Z2도함수는 출력층의 가중치 W2가 됨

Z1에 대한 H의 도함수

tanh 함수의 도함수 유도

 

가중치 W1h에 대한 Z1의 도함수(그레이디언트) 구하기

 

가중치 W1x에 대한 Z1의 도함수 구하기

가중치에 그레이디언트를 업데이트 하기 위함

 

절편 b1에 대한 Z1의 도함수 구하기

 

 

 

 

 

※ 해당 내용은 <Do it! 딥러닝 입문>의 내용을 토대로 학습하며 정리한 내용입니다.