베이지안 추론 및 응용

2-1 베이지안 통계

• 베이지안 통계학은 실증적(Empirical) 통계학으로, 과거의 결과를 바탕으로 분석 및 예측하는 것

확률 이론의 분류

• 빈도 이론: 반복적인 사건의 빈도
• 베이지안 이론: 어떤 가설의 확률을 평가하기 위해 사전 지식을 갖추고, 관측 결과를 바탕으로 하는 '가능도(likelihood)'를 계산해 설정한 사전 지식을 보정하는 과정 수행
• 베이지안 이론은 기계 학습에서 많이 사용

베이지안 확률

• 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 것
• 베이지안 정리(Bayesian Theorem)라고 부름

• 사전 확률(P(A), Prior Probability): 결과가 나타나기 전에 결정돼 있는 A(원인)의 확률
• 우도 확률(P(B|A), Likelihood Probability): A(원인)가 발생했다는 조건하에서 B(결과)가 발생할 확률
• 사후 확률(P(A|B), Posterior Probability): B(결과)가 발생했다는 조건하에서 A(원인)이 발생할 확률

베이지안 추론

• 통계적 추론의 하나로, 추론 대상의 사전 확률과 추가 정보를 통해 대상의 사후 확률을 추론하는 방법
• 순위가 높은 것을 선택한다
• 베이지안 추론은 사후 확률(A Posteriori)을 찾는 과정으로 MAP(Maximum A Posteriori) 문제라고 부르기도 함
• 관찰된 현상을 통해 그 속에 숨은 본질을 찾는 것이 목표
• 데이터가 적으면 정확성이 떨어지지만, 데이터가 늘어나면 정확성이 다른 기법보다 좋아지는 특성이 있어 많이 사용함

베이지안 통계의 활용

• MLE(Maximum Likelihood Estimation): 주어진 데이터를 통해 모집단의 확률을 추정하는 것
• MAP(Maximum A Posterior): MLE에 대해 사전 확률값 x의 변화에 따른 결과를 반영해 이 중 최댓값을 구하는 과정을 진행한 것
• MLE와 MAP는 사전 확률이 같다면 같은 결괄르 만들어 낸다

2-2 EM 알고리즘

EM 알고리즘의 개념

• EM(Expectation Maximization) 알고리즘은 베이지안 통계를 사용
• 통계 기반 NLP 모델에서 자주 등장하는 알고리즘
• 어떤 문서가 좀 더 현실적인지 판단하기 위해 토픽이라는 가상의 개념을 도입해 베이지안 확률을 계산하는 과정을 반복하고, 이를 통해 어떤 문서가 특정 토픽에 더 근접하는지를 계산

2-3 판별 분석

판별 분석의 개념

• 2개 이상의 모집단에서 추출된 표본이 지니고 있는 정보를 이용해 이 표본이 어느 모집단에서 추추로딘 것인지를 결정해 줄 수 있는 기준을 찾는 분석법
• 주어진 데이터를 분석하고, 이를 가장 잘 식별할 수 있는 판별식을 구한 후 이를 이용해 데이터를 판별하는 과정을 수행
• 판별 함수의 형태에 따라 선형 판별 분석(Lineare Discriminant Analysis, LDA), 이차 판별 분석(Quadratic Discriminant Analysis, QDA)으로 구분
• 사전 분포 데이터를 사용할 때 예측이 더욱 정확해짐

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.