함수 최적화

4-1 함수 최적화의 개념

• 두 변수를 선택해 산포도를 그린 후 두 변수의 관계를 분석하고, 둘의 관계를 설명할 수 있는 모델을 구함으로써 미래를 예측하는 것

변수의 상황

• 선형 상황: 변수의 산포도가 직선의 형태일 때 두 변수의 관계를 선형 함수로 나타낼 수 있음
• 비선형 상황: 변수의 산포도가 직선의 형태로 보이지 않을 때 두 변수의 관계를 비선형 문제라고 함

유사도

• 변수의 쌍이 얼마나 유사한지를 추측하는 과정 중 사용하는 개념
• 측정 기준
• 코사인 유사도
• 상관 계수
• 상관 함수
• 편집 거리
• 레벤슈타인 거리
• 해밍 거리
• 유클리드 거리, 마할라노비스 거리, 자카드 계수

4-2 회귀 분석

• 주어진 데이터를 바탕으로 이를 가장 잘 설명할 수 있는 함수(모형)를 만들고, 이를 이용해 예측하는 것
• 잔차(Residual): 예측값과 실제 데이터의 차이
• 일반 선형 모형(General Linear Model): 회귀 분석에서 데이터를 설명하기 위해 함수를 만드는 경우 잔차가 정규분포를 따를 때
• 일반화 선형 모형(Generalized Linear Model): 잔차가 임의의 분포를 따를 때

단순 회귀 분석(Simple Regression Analysis)

• 1개의 종속변수(Dependent Variable)와 1개의 독립변수(Independent Variable) 사이의 비례 관계를 찾는 것

다중 회귀 분석(Multiple Regression Analysis)

• 1개의 종속변수와 여러 개의 독립변수 사이의 비례관계를 찾는 것

로지스틱 회귀 분석

• 종속변수가 연속형이 아닌 범주형일 때 기존의 회귀모델을 사용할 수 없어서 개발된 것
• 이항 로지스틱 회귀: 종속변수가 0 또는 1인 경우
• 다항 로지스틱 회귀: 종속변수의 범주가 2개 이상인 경우

4-3 중요 알고리즘과 사례

• 주어진 문제에서 함수를 사용해 최고가 아닌 최적의 경우를 찾을 때는 알고리즘 중 '경사 하강법'과 회귀 분석에서 사용하는 '최소 제곱법'을 많이 사용

경사하강법

• 기계 학습 및 딥러닝에서 최적해를 구하기 위해 비용 함수(Cost function)를 최소화하는 파라미터를 구할 때 사용하는 방법
• 비용 함수를 학습시킬 때 사용하는 방법
• 최적의 w, b를 차기 위해 사용하는 방법 (y = wx +b)

최소 제곱법 (Least Squared Method)

• 데이터를 가장 잘 표현하는 1차 함수 그래프의 식을 구하는 것
• 선형 회귀에서 사용

정규화 (Regularization)

• 회귀 분석을 수행하면서 만들어진 회귀식이 데이터에 과적합되는 것을 방지하기 위해 도입된 개념
• 과적합: 회귀식이 주어진 데이터에 너무 적합하게 만들어져서 테스트 데이터로 예측할 때 정확성이 떨어지는 경우

정규화의 기본 용어

• Norm개념: Norm은 벡터의 크기를 측정하는 방법
• L1 Norm: 벡터 a,b의 원소들 값의 차이를 절댓값으로 만든 후 합한 것, L1 정규화와 컴퓨터 비전에서 주로 사용
• L2 Norm: 벡터 a,b의 유클리디안 거리, L2 정규화, kNN, kmean 등에서 사용

정규화의 개념

• L1 정규화: 예측에 사용하는 모델의 비용함수에 가중치의 절댓값을 더하는 것, L1 정규화를 사용하는 모델을 LASSO(Least Absolute Shrinkage and Selection Operation)회귀로 부름
• L2 정규화: 예측에 사용하는 모델의 비용 함수에 가중치의 제곱을 더하면 기존 비용 함수에 가중치의 크기가 포함되면서 가중치가 너무 크지 않은 방향으로 학습되도록 하는 것, 가중치 감소, L2 정규화를 사용하는 회귀 모델을 릿지(Ridge)회귀라고 함

분석 기법의 선택

• 정상적인 데이터는 일반 회귀 분석으로 충분함
• 이상치가 예측에 미치는 영향을 적게 하려면 라쏘 모델
• 이상치가 미치는 영향을 반영하려면 릿지 모델

 

 

 

 

 

※ 해당 내용은 <인공지능 바이블>의 내용을 토대로 학습하며 정리한 내용입니다.