🎃
Big Transfer (BiT): General Visual Representation Learning
Tags
Transfer Learning
Created
2020/12/21 06:21
Publication
ECCV'20
Rate
4
Summary
데이터셋의 크기(upstream/downstream)와 모델의 크기에 따른 transfer learning의 성능을 고찰한다. 일반적으로 upstream 데이터셋의 크기가 커질수록 transfer learning의 효과가 좋아지지만, 모델의 크기에 의해 upper bound가 발생한다. 즉, 데이터셋의 크기가 커짐에 따라 모델의 크기 역시 함께 키워줘야 충분한 성능 향상을 얻을 수 있다. 추가적으로 small/big batch에서의 batch normalization에 대한 문제점을 지적하며, 이러한 상황에서는 대신 GN과 WS를 활용할 것을 제안한다.