전체 글 (291) 썸네일형 리스트형 Word2Vec, ELMo, Doc2Vec의 이해 (2) 11.2 ELMo - 문맥에 따른 단어 의미의 구분 11.2.1 Word2Vec의 문제점 동음이의어 구분의 여러움 ELMo(Embeddings from Language Model)를 통해 자연어 처리의 성능 향상 ELMo: 문맥을 반영한 워드 임베딩 모형 중 하나 11.2.2 ELMo의 구조 사전학습된 양방향 LSTM을 사용해 임베딩을 수행 ELMo 임베딩 벡터 산출 과정 11.3 Doc2Vec - 문맥을 고려한 문서 임베딩 문서에 대해 직접 임베딩함 Doc2Vec의 학습 구조 DM(Distributed Memory): Word2Vec의 CBOW에 문서 ID를 추가한 형태 DBOW(Distributed Bag of Words): Skip-Gram에 문서 ID를 추가한 형태 ※ 해당 내용은 의 내용을 토대.. Word2Vec, ELMo, Doc2Vec의 이해 (1) 11.1 Word2Vec-대표적인 워드 임베딩 기법 11.1.1 Word2Vec 학습의 원리 Word2Vec 기법에서 학습의 목적은 단어에 의미적인 정보를 함축함으로써 유사도를 계산하거나 연산을 수행하고, 더 나아가서 학습된 결과를 다른 작업에서도 사용할 수 있는 전이학습을 지원하는 것 Word2Vec은 주변의 단어를 이용해 중심에 있는 단어를 예측하도록 학습함(CBOW에 한해서) CBOW(Continuous Bag of Words), Skip-Gram의 두 가지 학습 방식을 가짐 CBOW: 문장에서 윈도(앞뒤 단어들을 몇 개씩 예측에 사용할지 결정하는 범위)를 뒤로 이동하며 학습에 사용할 입력과 출력을 만듬 Skip-Gram: CBOW와 달리 중심 단어를 입력으로 해서 주변의 여러 단어들을 예측 11... RNN-딥러닝을 이용한 문서 분류 (6) 10.4 LSTM, Bi-LSTM과 GRU를 이용한 성능 개선 LSTM은 장기 기억정보를 추가함으로써 장기의존성을 학습 GRU(Gated Recurrent Unit): LSTM을 간소화한 모형으로 계산량이 적고 속도가 빠르면서도 좋은 성능을 냄 Bi-LSTM: 역방향의 영향을 함께 구현하기 위해 사용 from tensorflow.keras.optimizers import legacy as legacy_optimizers from tensorflow.keras import optimizers model = Sequential([ Embedding(max_words, 64), Bidirectional(LSTM(64)), Dense(64, activation='relu'), Dense(1, activation.. 이전 1 ··· 19 20 21 22 23 24 25 ··· 97 다음
