본문 바로가기
반응형

전체 글

 (291)
자연어 처리 (5) 2-6 텍스트 생성 기계 번역 자동화된 번역을 말하며, 언어를 또 다른 언어로 번역하는 기능 제공 구문 기반의 기계 번역 번역 모델: 원래 언어 구문과 목적 언어 구분을 대조하는 사전이 있고, 대조 구문 각 쌍에 각각의 점수를 부여한 상태로 저장 정렬 모델: 디코딩할 때 정렬하는 것이 자연스러운 형태인지 확률로 추정한 후 필요에 따라 정렬 언어 모델: 출력할 구문을 유려한 문장으로 만드는 작업 수행 자동 요약 같은 요약은 같은 언어 안에서 문장을 변환하는 것 자동 요약 단일 문서에 적용할 때 주로 사용하는 추출형 요약을 위한 기술 통계 요약(Maximal Marginal Relvance, MMR) 알고리즘 사용 증가하는 문서를 효과적으로 정리하는 방안으로 도입된 것 이미지의 설명 추가 및 기타 분야 집중..
자연어 처리 (4) 2-5 구조 분석 어구 구조 분석: 단어 열로 구성된 어구를 통해 문장의 구조를 파악하는 방법 할당 분석: 단어와 단어 사이의 관계를 수치로 나타내고, 이를 분석하여 문장의 의미 파악, 주어진 문장을 구성하는 단어와 단어 사이의 관계를 수치화된 구조로 표현하고, 이를 바탕으로 기계적으로 처리해 관계를 파악하는 방법 술어절 구조 분석: 주격, 서술격, 목적격, 보격, 관형격, 부사격, 감탄격의 7가지로 구성되며 문장의 의미는 술어와 대상을 나타내는 명사구로 표현할 수 있으므로 이를 식별하는 처리를 의미함 딥러닝을 이용하는 방법: 딥러닝의 개념을 적용해 구조 분석을 수행하는 것, 구체적으로 RNN이 구조 분석에 사용 어구 구조 분석 단어열로 구성된 어구를 통해 문장의 구조를 파악하는 방법 동사구, 명사구, ..
자연어 처리 (3) 2-4 예측 기반 벡터 워드 임베딩(Word Embedding) 단어를 수치적으로 표현해 기계가 문맥의 흐름과 단어 간의 연관성을 이해할 수 있도록 개발된 방법 Word2Vec Word Embedding을 확장해 C++ 라이브러리로 개발한 것 CBOW(Continuous Bag of Words) Embedding: 주변에 있는 단어를 이용해 중간에 있는 단어를 예측하는 방법 Skip-Gram: 중간에 있는 단어로 주변 단어를 예측하는 방법 CBOW Embedding 신경망 언어 모형을 사용하면서 복수 단어 문맥(Multi-Word Context)에 대한 문제, 여러 개의 단어를 나열한 후 이와 관련된 단어를 추정하는 문제를 해결하기 위해 고안된 방법 Skip-Gram 중심단어를 이용해 주변 단어를 예측하..
반응형

티스토리툴바