Drop an Octave: Reducing Spatial Redundancy in Convolutional Neural Networks with Octave (CVPR 2020)
Authors: Yunpeng Chen, Haoqi Fan, Bing Xu, Zhicheng Yan, Yannis Kalantidis, Marcus Rohrbach, Shuicheng Yan, Jiashi Feng
- 본 논문에서는 Vanilla Convolution(가장 기본 Convolution)의 문제점인 spatial redundancy를 줄이기 위한 Octave Feature Representation과 Mix된 feature map을 low frequency, high frequency’s feature maps으로 factorize하기 위한Octave Convolution을 제안했다. 이는 일반 vanilla convolution의 feature map은 low와 high의 feature가 섞인 mixed feature이며, 서로 중복된 local에 대한 feature를 신경 쓰지 않기 때문에 spatial redundancy가 발생하기 때문이다.
- Octave Feature Representation는 feature map tensor를 low와 high frequency로 factorize한다. 그들은 scale-space theory를 토대로 division을 진행했으며, division후 low frequency의 spatial resolution을 줄일 수 있었다. 이를 통해 memory와 computational cost를 줄였다.
-OctConv는 high, low frequency의 효과적인 communication으로 작용한다. Low와 high는 서로 다른 resolution을 가지기 때문에 high에서는 pooling을 통하여 size를 줄이고, low에서는 upsampling을 통해 size를 키우며 서로의 정보를 교환한다. 정보 교환을 통해 low frequency와 high frequency를 효과적으로 처리할 수 있다고 한다. 또한 동일한 size의 low frequency에 일반 convolution과 정보교환이 이루어지는 OctConv에 k * k를 한다고 했을 때, parameter의 수는 동일하지만, OctConv이 receptive field를 2배 더 크게 확대하기 때문에 recognition performance또한 향상시킨다.
- 이러한 OctConv는 기존의 Network Architecture의 convolution에 추가적인 파라미터나 setting 변경없이 대체가 가능하며 여러 실험결과를 토대로 성능향상을 보여줬다.
댓글