딥러닝 (3)

8-8 합성곱 신경망(CNN: Convolution Neural Network)

• 딥러닝 모델 중 가장 기본이 되는 다층 퍼셉트론 모델로 이미지의 인식, 예측 등에 활용
• 영상 인식 분야에서 가장 많이 사용

합성곱 신경망의 특징

• 여러개의 완전 연결 계층과 활성화 함수를 사용하는 대신, 합성곱 계층(Convolution Layer)과 풀링 계층(Pooling Layer)을 활성화 함수의 앞과 뒤에 배치하는 형태

이미지 배열 표현의 문제점

• 이미지 데이터를 1차원의 데이터로 펼쳐 입력층에 넣어야 함
• 원데이터가 갖는 형상, 공간적 구조가 무시됨
• 모델의 이미지 인식 성능을 저하시키는 요인으로 이미지 데이터는 공간 구조를 고려하는 조작이 필요

합성곱 계층의 계산 원리

• 완전 연결 계층이 이미지 데이터가 갖는 공간적 구조를 무시하는 단점을 보완하기 위해 고안된 것이 CNN의 특성 추출 부분
• 합성곱 계층, 활성화 함수, 풀링 계층으로 구성

• 합성곱 계층을 구성하는 원리는 'y=wx+b'의 식과 같이 원 이미지의 각 픽셀을 x로 보고, 필터 w값을 곱해 y값을 구함

합성곱 계층 활용 방법

• 특징 지도(Feature Map): 원이미지에 필터를 통해 생성된 것
• 컨볼루션 계층(Convolution Layer): 필터를 통해 생성되는 특징 지도
• 활성화 계층(Activation Layer): 컨볼루션 계층에 ReLU 등의 활성화 함수를 적용한 것

합성곱 계층의 구성 방법

CNN에서 활성화 함수의 역할

• 합성곱 계층의 결과물에 활성화 함수를 적용한 후 그 결과를 폴링 계층으로 넘겨 주는 것

8-9 순환 신경망(RNN)

• 자연어나 음성 신호, 주식과 같은 연속적인 데이터에 적합한 모델

RNN의 개념

• 시간을 축으로 이어지는 데이터를 대상으로 작동하도록 설계된 모델
• 다층 신경망을 이용한 것으로 순방향과 역방향을 통한 가중치의 변화를 통해 최적화의 과정 수행
• RNN은 은닉층의 결과가 다시 은닉층의 입력으로 연결되도록 구성해 순서 또는 시간이라는 측면을 고렿ㄹ 수 있는 특징이 있음
• 실무에서 각 단어를 구성하는 다층 신경망의 깊이가 깊어지면 학습이 잘되지 않는 문제를 보안하기 위해 장단기 메모리(LSTM: Long Short Term Memory), GRU(Gated Tecurrent Unit)와 같은 보완 모델이 개발되어 적용

RNN의 표현

• RNN을 구성하는 여러개의 층을 구성하는 중간 단계는 모두 같은 구조를 가짐

순환 신경망의 예

순전파

역전파

순환 신경망의 응용 사례: LSTM

• RNN에서 h의 갯수가 많아져 기울기 소멸 문제(Vanishing Gradient Problem)가 발생하는 것을 해결하기 위해 만들어진 모델
• 입력 게이트와 망각 게이트를 조정하거나 기울기 소멸 문제를 조정할 수 있는 기능 가짐

RNN의 적용 분야

• Language Model: 인터넷의 연관 검색어 기능 지원
• Speech Recognition: 말의 인식 및 처리
• Machine Translation: 기계를 이용한 번역 시스템
• Conversation Model: 대화 기능 지원
• Question Answering: 질의 및 응답 기능 지원
• Image, Video Captioning: 이미지와 비디오 식별
• Draw, Music, Poetry, Novel Generation: 그림, 음악, 시, 소설의 창작

8-10 메모리 확장 신경망 모델과 개발 환경

메모리 확장 신경망 모델(Memory - Augmented Neural Network)

• 뉴럴 튜링 머신(NTM: Neural Turing Machine) 모델
• 미분 가능 뉴럴 컴퓨터(DNC: Differentiable Neural Computer) 모델
• 메모리 망(MemoryNet, Memory Network) 모델
• 종단간 메모리 망(MemN2N: End-to-End Memory Network) 모델
• 동적 메모리 망(DMN: Dynamic Memory Net) 모델

딥러닝 개발 환경

• CUDA
• 텐서플로
• 케라스
• 토치
• 테아노
• 싸이킷런
• 파이런 2
• RNNLiB

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.