MoblieNets: Efficient Convolutional Neural Networks for Mobile Vision Application.
Authors: A. G. Howard, M. Zhu, B. Chen, D. Kalenichenko, W. Wang, T. Weyand, M. Andreetto, and H. Adam.
- 본 논문에서는 depthwise separable convolution과 2개의 hyper parameter을 통해 네트워크를 가볍게 설계하고, 이를 통해서 모바일이나 vision application에 쉽고 적합하게 적용될 수 있는 mobileNet을 제안했다.
- 첫번째 기법인 depthwise separable convolution은 기존 normal convolution과 달리 depthwise conv와 pointwise conv 2개로 구성된다. Depthwise conv는 각각 input channel 별로 single filter를 적용하는 역할을 한다. Depthwise conv이 normal conv보다 훨씬 효과적이지만, input channel에 filter만 적용하기 때문에 새로운 feature를 만들어 내지 않는다. 따라서 depth conv 후 1x1 conv으로 구성된 pointwise conv을 연쇄하게 붙이며 새로운 feature를 만들어 낼수 있고, 더불어 computational cost도 감소시킬 수 있다. 본 논문에서는 3x3 depthwise separable conv을 적용했으며, standard cov보다 8-9배 정도 계산복잡성을 줄였다.
- 두번째 기법인 2개의 hyper-parameter는 α, ρ 이다. α 는 width multiplier parameter이며, input channels= M, output channels=N일 때 α 를 적용하여 αM , αN 으로 변경된다. α 는 (0<α <1) 이며 주로 1, 0.75, 0.5, 0.25를 가지고 1일때는 가장 base인 MobileNet을 그리고 1보다 작게 작아질수록 MobileNet을 줄이며 computational cost와 network parameter를 줄일 수 있다.
- 두 번째 hyper-parameter인 ρ 는 resolution multiplier이며 input resolution을 줄이는 역할을 한다.
- 결론적으로, MobileNet은 depthwise separable convolution의 적용과 2개의 hyper-parameter를 조정하며, computational cost와 parameter를 줄이며 네트워크를 light하게 설계하며, mobile이나, vision application에 각각 적합하게 적용되었다.
댓글