📗

Rexnet: Diminishing representational bottleneck on convolutional neural network

Tags

Model Architecture

Created

2020/12/21 06:21

Publication

Rate

3.3

Source

https://arxiv.org/abs/2007.00992

Summary

CNN layer의 channel이 크게 확장될 때 feature matrix의 rank가 제한됨에 따라 representational bottleneck이 발생하며, 이를 해소하기 위해서는 1) 위와 같이 representational bottleneck이 발생하는 expand layer의 input channel size를 늘리고, 2) rank를 최대화할 수 있는 적절한 non-linear activation function을 사용해야 한다고 주장한다. 이러한 원칙을 기반으로 MobileNet을 개량한 ReXNet(Rank eXpansion Networks)를 제안하며, complexity를 유지하며 타 feature extractor(특히 EfficientNet)에 비해 우월한 성능을 낼 수 있음을 보인다.