인공지능 모델의 평가

9-1 인공지능 모델의 평가 방법

이진 분류의 평가 기법

• 홀더아웃 검증과 교차 검증
• 오차 행렬(Confusion Matrix)을 조사하는 방법: 정밀도, 재현율, PR곡선
• ROC 곡선

다중 분류의 평가 기법

• 일대다 전략(OvA: One versus ALL): 각 분류기의 결정 점수 중 가장 높은 것을 선택하는 방식
• 일대일 전략(OvO: One versus One): 각 숫자의 조합마다 이진 분류기를 훈련하는 것

 

9-2 모델을 평가할 때 알아야 하는 용어

훈련 오차와 테스트 오차

• 훈련 오차: 학습 과정에서 발생하는 오차
• 테스트 오차: 학습이 완료된 후 테스트 데이터를 이용할 때 발생하는 오차

과적합 문제

• 모델의 층이 많아져 복잡해지면 발생할 수 있는 문제
• 규제화 기법: 오차 함수 또는 목적 함수를 오차 항과 모델 복잡도 항의 합으로 규정하는 방법
• 드롭아웃: 학습 시 일정 확률로 노드를 무작위로 선택해, 선택된 노드의 앞뒤로 연결된 가중치선을 없는 것으로 하고 학습을 진행하는 방법
• 배치 정규화(Batch Normalization): 데이터의 분포 변화를 정규화하는 것

 

9-3 홀드아웃 검증과 교차 검증

• 홀드아웃 검증(Holdout Method): 데이터를 훈련 데이터와 테스트 데이터로 나눈 후 학습이나 다른 과정에서 테스트 데이터를 사용하지 않는 검증 방법, 개발된 모델에 테스트 데이터를 사용했을 때의 정밀도를 평가해 성능을 판단
• k겹 교차 검증(K - fold Cross Validation): 데이터를 k개의 그룹으로 나눈 후 1개의 그룹을 제외한 나머지 데이터를 훈련 데이터로 설정, 이때는 사용하지 않은 그룹을 이용해 테스트 수행, 이때 얻은 정밀도의 평균과 표준편차를 구하는 것으로 평가 수행
• LOOCK(Leave One Out Cross Validation): k겹 교차 검증에서 k가 데이터 개수와 같을 때를 말함, 데이터가 적을 때 사용

 

9-4 오차 행렬 조사 방법

• 모델 평가에서 가장 기본이 되는 것으로 클래스 A에 속하는 샘플이 클래스 B에 속하는 것으로 분류된 횟수를 세는 것

• 정밀도: 양성 예측의 정확도
• 재현율: 분류기가 정확하게 감지한 양성 샘플의 비율

9-5 PR 곡선(Precision Recall)

• 성능 개선 여지가 얼마나 있는지 보여 줌
• 곡선이 오른쪽 위 모서리에 가까워질수록 좋은 성능을 보임

 

9-6 ROC 곡선

• 수신기 조작 특성(Receiver Operating Characteristic) 곡선
• 거짓 양성 비율(FPR)에 대한 진짜 양성 비율(TPR)의 곡선

• ROC곡선은 FPR과 TPR의 관계에 대한 곡선
• 그림에는 총 3개의 모델에 대한 곡선이 그려져 있음
• 3개의 모델이 중앙의 대각선 위에 있으므로 유효
• 3개의 모델 중 class 0가 가장 잘 분류
• 3개 모델의 평균 분류 성능이 보라색과 파란색 점으로 표시
• 각 모델의 분류 성능을 수치로 표현한 것이 AUC(Area Under Curve)이고, 각 모델별로 표시됨
• AUC가 0.9 이상이면 정확도가 높음

9-7 ROC 곡선과 PR 곡선의 용도

• 모델 평가에서 대부분의 경우 ROC 곡선 사용
• 양성이 드물거나 거짓 음성보다 거짓 양성이 중요하면 PR 곡선 사용
• 대표적으로 유해영상을 차단할 때 PR 곡선이 사용 됨

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.