오토인코더(Auto-encoder)에 대한 간단 정리

Auto-encoder(이하 오토인코더)는 데이터를 압축하고 재구성하도록 하여, 노이즈를 제거하고 보다 유용한 데이터 표현을 얻기 위하여 만들어진 모델이다. 

label이 없는 경우의 feature를 탐색하자는 아이디어에서 출발하여, X(image)를 토대로 저차원 Z를 도출하고, Z로부터 이미지 X를 다시 복원하는 역할을 한다. 

오토인코더는 인코더와 디코더로 이루어지는데, 각각 인코더는 입력을 내부 표현으로 변환하는 역할을 하고 디코더는 내부 표현을 출력으로 변환하는 역할을 한다. 

인코더: 입력 데이터를 더 작은 차원의 latent space로 압축하는 역할을 수행한다. 이를 통해 입력 데이터의 주요 특징을 학습하고, 주요한 정보만 추출하여 저차원 벡터로 표현한다. (중요한 것만 학습 -> 노이즈 제거 & 특징 학습)

디코더: 인코더가 생성한 latent space vector를 다시 원래 차원으로 복원하는 역할을 한다. 압축된 특징을 바탕으로 원본 데이터와 유사한 출력을 재구성하도록 학습한다. (데이터 재구성)

Input data(x) -> (encoder) -> z(features) -> (decoder) -> x'(reconstructed input data)