가변 자동 인코더(Variational Autoencoders)
VAE(Variational Autoencoder)는 기존 데이터와 유사한 새로운 데이터를 생성할 수 있는 기계 학습 알고리즘입니다. 기존 데이터를 더 작은 표현으로 압축한 다음 해당 압축된 표현을 기반으로 새로운 데이터를 개발하는 방식으로 작동합니다.
VAE는 많은 데이터를 사용할 수 있는 경우 자주 사용되지만 레이블이 지정되거나 분류되지 않습니다. 예를 들어, 새로운 이미지를 생성하거나 이미지에서 노이즈를 제거하거나 대규모 데이터 세트에서 비정상적인 패턴을 감지할 수 있습니다.
VAE는 압축된 데이터에 대한 확률 분포를 학습함으로써 원래 데이터와 비슷하지만 동일하지 않은 새로운 샘플을 생성할 수 있습니다. 이는 새로운 예술 작품이나 음악을 만들거나 기존 데이터에 대한 새로운 변형을 탐색하는 작업에 유용합니다.
- 데이터 압축: VAE는 데이터를 데이터의 가장 중요한 특징을 캡처하는 저차원 표현으로 압축할 수 있습니다. 이는 작은 파일 크기를 갖는 것이 바람직한 이미지 및 비디오 압축과 같은 작업에서 유용할 수 있습니다.
- 이상 탐지: VAE는 주어진 샘플의 재구성 오류를 데이터 세트의 다른 샘플의 재구성 오류와 비교하여 데이터의 이상을 탐지할 수 있습니다. 이는 사기 탐지 및 의료 진단과 같은 작업에서 유용할 수 있습니다.
- 자연어 처리: VAE는 원본 데이터와 유사한 새로운 텍스트를 생성할 수 있습니다. 그들은 현실적으로 들리는 뉴스 기사, 챗봇 대화, 그리고 심지어 책 전체를 만드는 데 사용되었습니다.
- 로봇 공학: VAE는 궤적을 계획하고 작업을 실행하는 데 사용할 수 있는 로봇 환경의 간결한 표현을 배울 수 있습니다.
자기회귀 모형(Autoregressive Models)
자기회귀모형은 시계열의 과거 값이 미래 값을 예측하는 데 사용될 수 있다는 아이디어에 기반을 두고 있습니다. 즉, 변수의 과거 값과 변수의 미래 값 사이의 관계를 가정합니다.
자기회귀 모형은 변수의 과거 값과 미래 값 사이의 관계를 설명하는 수학 방정식을 시계열 데이터에 적합시켜 작동합니다. 그런 다음 모델은 이 방정식을 사용하여 변수의 과거 값을 기반으로 미래 값을 예측합니다.
- 재무: 자기회귀모형은 주가, 환율 및 기타 재무 시계열을 예측합니다. 자기회귀모형을 예측에 사용하기 위해 시계열에 대한 과거 데이터를 수집하고 분석하여 데이터의 패턴과 추세를 파악합니다. 그런 다음 최대우도 추정 또는 최소제곱 회귀와 같은 기술을 사용하여 모형 모수를 추정합니다. 모형 모수가 추정되면 모형을 사용하여 시계열의 미래 값을 예측할 수 있습니다. 예를 들어, 주가의 경우 자기회귀모형은 과거 주가를 사용하여 미래 가격을 예측합니다.
- 날씨 예측: 자기 회귀 모델은 과거의 날씨 데이터를 기반으로 미래의 날씨 상태를 예측합니다.
- 음성 인식: 자기 회귀 모델은 과거의 소리를 기반으로 다음 소리를 예측하여 음성을 인식합니다.
- 신호 처리: 오디오 신호, 뇌파 신호 및 지진 신호와 같은 신호를 모델링하고 예측하는 데 자기 회귀 모델이 사용됩니다.
자기회귀 모델이 설명을 제공할 수 있는 방법의 한 예는 자연어 처리 분야입니다. 많은 텍스트 코퍼스에 대해 자기회귀 모델을 훈련함으로써 훈련 데이터와 스타일과 내용이 유사한 새로운 텍스트를 생성할 수 있습니다. 그러나 생성된 텍스트는 때때로 인간이 해석하기 어려울 수 있으며, 특히 모델이 우리가 기대하는 것과 다른 텍스트를 생성하는 경우에는 더욱 그렇습니다.
이 문제를 해결하기 위해 연구자들은 자기회귀 모델의 내부 작동을 시각화하기 위한 기술을 개발했습니다. 예를 들어, 하나의 접근법은 각 출력 토큰을 생성하기 위한 각 입력 토큰의 중요성을 보여주는 히트 맵을 생성하는 것입니다. 이는 인간이 입력 데이터의 어떤 부분이 출력 데이터의 각 부분을 개발하는 데 가장 중요한지 이해하는 데 도움을 줄 수 있습니다.