word2vec (2) 썸네일형 리스트형 Word2Vec, ELMo, Doc2Vec의 이해 (1) 11.1 Word2Vec-대표적인 워드 임베딩 기법 11.1.1 Word2Vec 학습의 원리 Word2Vec 기법에서 학습의 목적은 단어에 의미적인 정보를 함축함으로써 유사도를 계산하거나 연산을 수행하고, 더 나아가서 학습된 결과를 다른 작업에서도 사용할 수 있는 전이학습을 지원하는 것 Word2Vec은 주변의 단어를 이용해 중심에 있는 단어를 예측하도록 학습함(CBOW에 한해서) CBOW(Continuous Bag of Words), Skip-Gram의 두 가지 학습 방식을 가짐 CBOW: 문장에서 윈도(앞뒤 단어들을 몇 개씩 예측에 사용할지 결정하는 범위)를 뒤로 이동하며 학습에 사용할 입력과 출력을 만듬 Skip-Gram: CBOW와 달리 중심 단어를 입력으로 해서 주변의 여러 단어들을 예측 11... 자연어 처리 (3) 2-4 예측 기반 벡터 워드 임베딩(Word Embedding) 단어를 수치적으로 표현해 기계가 문맥의 흐름과 단어 간의 연관성을 이해할 수 있도록 개발된 방법 Word2Vec Word Embedding을 확장해 C++ 라이브러리로 개발한 것 CBOW(Continuous Bag of Words) Embedding: 주변에 있는 단어를 이용해 중간에 있는 단어를 예측하는 방법 Skip-Gram: 중간에 있는 단어로 주변 단어를 예측하는 방법 CBOW Embedding 신경망 언어 모형을 사용하면서 복수 단어 문맥(Multi-Word Context)에 대한 문제, 여러 개의 단어를 나열한 후 이와 관련된 단어를 추정하는 문제를 해결하기 위해 고안된 방법 Skip-Gram 중심단어를 이용해 주변 단어를 예측하.. 이전 1 다음
