[호붕싸 모각코 3주차] Semi-Supervised Learning

 

인공지능 최신기술 수업시간에 배운 Semi-Supervised Learning에 대해 복습해보려고 한다. 

그리고 이를 사용한 논문 Mean-Teacher에 대해 간단히 리뷰 해보도록 하겠다. 

---

반지도 학습이란?

반지도 학습은 소량의 라벨 데이터와 대량의 비라벨 데이터를 함께 활용하여 모델 성능을 향상시키는 기법이다. 데이터 라벨링이 비용이 많이 들거나 어려운 상황에서 특히 유용하다.

반지도 학습의 주요 가정

1. Manifold Assumption

• 고차원의 데이터는 저차원 공간에서 표현할 수 있다.
• 즉, 데이터는 단순한 유클리드 공간이 아니라 더 낮은 차원의 구조적 공간 위에 존재하는 것으로 가정한다.
• 이를 통해 차원 축소 기법이나 학습 알고리즘이 더 나은 일반화를 할 수 있다.

2. Smoothness Assumption

• 다차원 공간에서 가까운 위치에 있는 샘플들은 같은 라벨을 가질 가능성이 높다.
• 즉, 데이터 분포가 부드럽게 변화할 것이며, 작은 변형이 있어도 라벨이 급격히 변하지 않는다.
• 이 가정을 통해 모델이 노이즈에 강하고 안정적인 예측을 하도록 학습할 수 있다.

3. Cluster Assumption

• 데이터는 클러스터를 형성하며, 같은 클러스터에 속한 샘플들은 동일한 라벨을 공유할 가능성이 높다.
• 따라서 decision boundary는 데이터 밀도가 낮은 영역에 놓여야 한다.
• 이를 활용하면 비라벨 데이터도 클러스터 구조를 반영하여 적절한 라벨을 예측하는 데 기여할 수 있다.

Consistency Regularization

반지도 학습의 핵심 기법 중 하나는 일관성 정규화로, 입력에 작은 변화를 주더라도 모델이 일관된 출력을 내도록 유도한다.

주요 기법

• Π-Model: 입력에 노이즈를 추가하고 일관된 출력을 학습.
• Temporal Ensembling: 과거 예측값을 누적해 더 안정적인 학습 목표 제공.
• Mean Teacher: 모델 가중치의 지수 이동 평균(EMA)을 활용해 안정적인 학습 타겟 설정.

Mean Teacher 개요

Mean Teacher는 교사-학생(Teacher-Student) 모델 구조를 활용하여 학습을 안정적으로 진행하는 방법이다. 학생 모델은 일반적인 방식으로 학습하며, 교사 모델은 학생 모델의 가중치를 EMA로 누적하여 더욱 부드럽고 안정적인 학습 목표를 제공한다.

Mean Teacher 작동 원리

1. 학생 모델 학습: 그래디언트 하강법으로 가중치 업데이트 → 상대적으로 불안정.
2. 교사 모델 업데이트: 학생 모델의 가중치를 EMA로 누적하여 더 안정적인 모델 생성.
   • : 교사 모델 가중치
   • : 학생 모델 가중치
   • : EMA 감쇠 계수

Mean Teacher의 장점

• 안정적인 학습 목표 제공: 모델이 과적합되지 않도록 유도.
• 일관성 강화: 입력 변형에도 일관된 예측을 유지하도록 학습.
• 일반화 성능 향상: 비라벨 데이터의 정보를 효과적으로 활용하여 더 좋은 성능을 달성.

결론

Mean Teacher는 반지도 학습에서 안정성을 높이는 강력한 기법이다. 교사 모델을 EMA로 유지하여 학습을 부드럽게 진행하고, 일관성을 강화해 모델의 일반화 성능을 개선한다. 이러한 특징 덕분에 반지도 학습 연구와 실전 적용에서 중요한 역할을 한다.

---

작성자	배세은
소 감	semi-supervised learning에 대해서 잘 모르고 있었는데, 다양한 가정이 존재하고 있음을 알게 되었고 label이 없으니 이 가정이 중요하다는 점을 깨닫게 되었다. 일관성을 강조하는 semi-supervised learning에서 mean-teacher 외에도 다른 기법이 궁금해지게 되었다.
일 시	2025. 3. 17. (월) 18:00 ~ 21:00
장 소	미래관 429호 자율주행스튜디오
참가자 명단	신수민, 임혜진, 배세은, 김윤희 (총 4명)
사 진