자연어 처리 (1)

2-1 문장 구조의 이해

자연어 처리의 정의

• 기계가 자연어를 분석하고 해석해 의미를 이해한 후 그 결과를 바탕으로 사람에게 도움이나 피드백을 주는 것
• 언어: 자연어, 인공어, 컴퓨터 언어

문장 이해를 위한 선행 작업

• 문장을 이해하기 위해서는 '띄어쓰기'와 '형태소 분석'이 수행되어야 함
• 띄어쓰기: 공백을 기준으로 쓰인 문장의 단어를 구분
• 형태소 분석: 띄어쓰기로 분리한 단어의 품사를 인식하는 작업

형태소 분석

N-Gram

• 주어진 문장을 문자나 단어의 주어진 길이로 나눠 처리하는 방식

• N-Gram으로 분석된 것을 통칭하는 개념: BOW(Bag of Words)

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.