자연어 처리 (3)

2-4 예측 기반 벡터

워드 임베딩(Word Embedding)

• 단어를 수치적으로 표현해 기계가 문맥의 흐름과 단어 간의 연관성을 이해할 수 있도록 개발된 방법

Word2Vec

• Word Embedding을 확장해 C++ 라이브러리로 개발한 것
• CBOW(Continuous Bag of Words) Embedding: 주변에 있는 단어를 이용해 중간에 있는 단어를 예측하는 방법
• Skip-Gram: 중간에 있는 단어로 주변 단어를 예측하는 방법

CBOW Embedding

• 신경망 언어 모형을 사용하면서 복수 단어 문맥(Multi-Word Context)에 대한 문제, 여러 개의 단어를 나열한 후 이와 관련된 단어를 추정하는 문제를 해결하기 위해 고안된 방법

Skip-Gram

• 중심단어를 이용해 주변 단어를 예측하는 방법

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.