통계 기반 기계 학습 - 지도학습

통계 기반 기계 학습 - 지도학습

• 함수의 최적화를 통한 기계 학습: 회귀 분석, 시계열 분석
• 통계 기법을 통한 기계 학습: 지도학습, 비지도학습
• 신경망 기반 기계 학습: 딥러닝
• 규칙 기반 기계 학습
• 강화학습 기반 기계 학습: 강화학습

5-1 통계 기반 기계 학습의 분류

지도학습의 정의 및 분석 기법

• 자료가 입력 변수와 출력 변수로 주어지고, 입출력 변수 같의 함수적 의존 관계를 자료로부터 학습을 통해 추정함으로써 특정 입력이 주어졌을 때 출력을 예측할 수 있는 모형을 얻는 것
• 회귀 분석: 선형 회귀 분석, 비선형 회귀 분석, 로지스틱 회귀, 신경망, 커널 방법론
• 의사결정 트리
• 랜덤 포레스트
• 서포트 벡터 머신
• 베이지안 추론

비지도학습의 정의 및 분석 기법

• 주어진 자료의 숨은 의미를 찾는 분석 기법
• 군집 분석(Cluster Analysis)
• 차원 축소 기법(Dimension Reduction): 주성분 분석, 인자 분석, 독립 성분 분석, 다차원 척도법
• 연관 규칙 분석(Association Rule Analysis)
• 판별 분석(Discriminant Analysis)

5-2 의사결정 트리(Decision Tree)

• 간단하면서 효과가 좋은 예측 기법
• 실무에서는 스팸 메일 등을 거를 때 사용
• ID3 알고리즘을 바탕으로 함
• 의사 결정 트리 알고리즘의 종류: CART(Classification and Regression Tree), C4.5, C5.0, CHAID(Chi - squared Automatic Interaction Detection)

CART 알고리즘

• 데이터의 크기나 형태 등에 크게 구애받지 않고 정확성이 높은 기법
• 실무에서 많이 사용 됨

조건부 추론 트리(Conditional Inference Tree)

• 통계적 유의성에 대한 판단 없이 노드를 분할하는 데 대한 과적합 문제와, 다양한 값으로 분할 가능한 변수가 다른 변수에 비해 선호되는 문제를 해결한 방법
• R에서는 party 패키지에 ctree 명령어로 수행

5-3 랜덤 포레스트

• 앙상블(Ensemble): 주어진 자료로부터 여러 개의 예측 모형을 만든 후 이를 결합해 하나의 최종적인 예측 모형을 만드는 방법
• 앙상블은 의사결정 트리의 문제점을 조건부 추론 트리와 다른 방식으로 보완하기 위해 개발된 방법

앙상블을 사용하는 기법

• 배깅: '불안정한 예측 모형'에서 불안전성을 제거함으로써 예측력을 향상시키는 기법, 'Bootstrap Aggregating'의 준말
• 부스팅: 예측력이 약한 모형을 결합해 강한 예측 모형을 만드는 방법
• 랜덤 포레스트: 배깅과 부스팅보다 많은 무작위성을 주어 약한 학습 모델을 생성한 후 이를 선형 결합해 최종 학습기를 만드는 방법, 입력 변수의 개수가 많을 때 배깅, 부스팅보다 더 좋은 예측력을 보임

5-4 서포트 벡터 머신

• 1995년 코리나 크로테스와 블라디미르 바프닉이 제안
• 예측이 정확하고 여러 자료에 적용하기 ㅜ시움

초평면

• 최대 마진 분류기가 경계로 사용하는 선이나 면
• 최대 마진 분류기(Maximum Margin Classifier): 데이터를 곡선이 아닌 직선이나 평면으로 구별하는 방법

최대 마진 분류기

• 데이터와 초평면의 수직 거리: 마진(Margin)
• 마진이 가장 큰 초평면: 최대 마진 초평면(Maximum Margin Hyperplane)

서포트 벡터 분류기(Support Vector Classifier)

• 소프트 마진을 이용해 데이터를 분류하는 것
• 소프트 마진(Soft Margin): 데이터를 분류할 때 약간의 오차를 허용하는 방식
• 코스트(Cost): 허용하는 오류의 정도

서포트 벡터 머신

• 서포트 벡터 분류기를 확장해 비선형의 클래스 경계를 수용할 수 있도록 개발된 분류 방법
• 다항식 커널(Polynomial Kernel)

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.