🧨
Rethinking Pre-training and Self-training
Tags
Model Training
Created
2021/02/14 03:08
Publication
NeurIPS'20
Rate
4
Summary
대부분의 경우 딥러닝 모델을 학습할 때 의심 없이 ImageNet pre-training weight을 initialization point로 사용한다. 구글 브레인의 이 페이퍼는 이러한 관습에 의문을 보내며, 일련의 실험을 통해 image augmentation의 강도가 세지고, labeled dataset의 규모가 커질수록 pre-training의 효용이 떨어지며, 심지어는 pre-training이 모델의 최종적인 성능에 부정적인 영향을 줄 수 있음을 보인다. 풀고자 하는 task에 따라 ImageNet classification task로부터의 adaptation이 어려울 수 있다는 것이다. 또한 이에 따라 task-specific하지 않은 보다 general한 self-training이 pre-training이 모델의 전체적인 성능을 해치는 상황(intense augmentation, large labeled dataset)에서도 모델의 성능을 안정적으로 향상시킬 수 있음을 밝힌다.