🌛
Self-training with Noisy Student improves ImageNet classification
Tags
Self-training
Created
2021/02/18 07:36
Publication
CVPR'20
Rate
4
Summary
Labeled target dataset이 주어진 상황에서, unlabeled dataset을 활용해 target dataset(페이퍼에서는 ImageNet)에 대한 모델의 성능을 높이는 self-training framework를 제안한다. 우선 labeled target dataset에 대해 (teacher) 모델을 학습하고, 학습된 모델을 이용해 unlabeled dataset에 pseudo-labeling을 진행하고, 이렇게 pseudo-labeling된 unlabeled dataset과 labeled target dataset을 통해 joint training을 수행하여 새로운 (student) 모델을 학습하고, 이 모델을 통해 다시 pseudo-labeling을 진행하기를 반복하여 모델의 성능을 개선한다. 이 때 기존의 self-training과 다른 점은 1) teacher model에 비해 student model이 작지 않은 점, 2) student model이 unlabeled dataset을 학습할 때 noise(regularization & augmentation)을 가한다는 것이다. 이러한 noisy student self-training을 이용해 뛰어나면서도 robust한 모델을 만들어낼 수 있음을 보인다.