기계학습 핵심! 오일석 6장 6.7~6.8절 완벽 해설
게시일:
작성자: 자청의 유튜브 추출기
- 6.7절은 오토인코더에 대해 설명해요.
- 오토인코더는 특징 벡터를 압축하는 모델이에요.
- 입력 x가 은닉층을 거쳐 다시 출력으로 나와요.
- 구조는 입력, 은닉, 출력 세 부분으로 되어 있어요.
- 특징 벡터는 입력 영상의 핵심 정보를 담아요.
- 차원을 줄이면 영상 압축이나 특징 추출에 활용돼요.
- 가중치 w와 v를 통해 입력이 다시 복원돼요.
- 은닉층 크기를 d보다 작게 만들어 압축 효과를 얻어요.
- 예를 들어 영상이 256x256이면 1024 차원으로 줄일 수 있어요.
- 이렇게 특징 벡터는 영상의 핵심 정보를 표현해요.
- 수식으로는 입력이 w와 v를 통해 변환되는 구조에요.
- 비선형 인코더는 활성화 함수를 적용해서 표현력을 높여요.
- 학습은 입력과 재구성 차이인 오차를 최소화하는 방식이에요.
- 규제 기법을 써서 과적합을 방지할 수 있어요.
- 대표 규제법으로 희소성, 잡음 추가, 드롭아웃이 있어요.
- 희소성 규제는 일부 뉴런만 활성화되게 해요.
- 잡음 규제는 입력에 노이즈를 더해서 강인성을 높여요.
- 깊은 인코더는 층을 쌓아 더 복잡한 표현을 학습해요.
- 층을 깊게 쌓아도 미세 조정으로 학습 가능해요.
- 2006년 이후 딥러닝이 크게 발전했어요.
- 규제와 활성화 함수 등 기술이 많이 나왔어요.
- 층이 깊어도 학습이 가능해졌어요.
- 매니폴드 학습은 데이터의 저차원 구조를 찾는 방법이에요.
- 매니폴드 가정은 고차원 데이터가 저차원 구조를 따른다는 거예요.
- 예를 들어, 3차원 공간이 2차원 평면으로 표현될 수 있어요.
- 차원 축소는 데이터의 핵심 구조를 유지하는 게 중요해요.
- 맵핑 기법으로는 그래프 기반, 최근접 이웃, 확률적 방법이 있어요.
- 그래프 기반은 거리 행렬을 만들어 구조를 파악해요.
- 최근접 이웃은 가까운 점들을 연결해서 구조를 찾는 방법이에요.
- 확률적 방법은 거리와 유사도를 확률로 표현해요.
- 예를 들어, 유사도는 지수 함수로 계산돼요.
- 차원 축소 후에도 데이터 구조를 유지하는 게 목표예요.
- 이때, 거리와 유사도는 확률 분포로 표현돼요.
- KL 다이버전스 같은 지표로 유사도를 비교해요.
- 목적은 원래 데이터 구조를 최대한 보존하는 거예요.
- 최적화는 유사도 차이를 최소화하는 방향으로 진행돼요.
- 미분을 통해 최적의 점들을 찾는 과정이에요.
- 이렇게 차원 축소는 데이터의 핵심 정보를 유지하는 게 중요해요.
- 매니폴드 학습은 데이터의 저차원 구조를 찾는 기술이에요.
- 예를 들어, 복잡한 고차원 데이터가 저차원 평면에 표현될 수 있어요.
- 여러 기법이 있는데, 그래프 기반, 확률적 방법, 거리 기반이 있어요.
- 이 방법들은 모두 데이터 구조를 최대한 보존하는 게 목표예요.
- 딥러닝과 결합하면 더 강력한 차원 축소와 구조 파악이 가능해요.
- 이렇게 해서 데이터의 핵심 구조를 이해하고 활용할 수 있어요.