Fast and Efficient Image Quality Enhancement via Desubpixel Convolutional Neural Networks. (ECCVW 2018)
Fast and Efficient Image Quality Enhancement via Desubpixel Convolutional Neural Networks. (ECCVW 2018)
-Authors: Thang Vu, Nguyen, Trung X. Pham, Tung M. Luu, and Chang D. Yoo (KAIST)
-본 논문에서는 네트워크 초반 layer에서 input의 resolution이나 feature의 size를 줄일 때 발생하는 정보의 손실을 해결하고자 De-subpixel convolution을 제안한다. 제안하는 De-subpixel convolution은 Upsampling에 사용되는 sup-pixel convolution(pixel shuffle)을 역으로 사용한다. sup-pixel convolution은 Upsampling을 진행할때 하나의 layer를 interpolation을 통해 Up하는 것보다, 여러 layer의 pixel을 shuffle하면서 fuse하여 Upsampling하여 성능을 높혔다. 본 논문에서는 downsampling을 진행할 때 sub-pixel convolution을 역으로 진행하여, 모든 뉴런들이 골고루 사용되면 downsampling을 진행하여 정보의 손실을 최소화한다.
-Figure 2는 downsampling에 사용되는 기법들을 비교한다. 1번은 3x3 convolution with stride 2, 2번째는 2x2 max pooling, 3번째는 Bilinear, 마지막은 제안하는 de-subpixel convolution이다. 파란색 음영은 뉴런의 filtering 횟수이다.
-3x3 Convolution with stride 2, 3x3 convolution은 그림과 같이 뉴런이 filter되는 횟수가 1번, 2번, 4번 등 다양하다. 가장 진한 파란색은 4번 filter된 것이며, 밝은 파란색은 1번 filter된 뉴런이다. Stride=2로 하면 이러한 불규칙한(non-uniform) 뉴런의 기여(contribution)이 발생한다. 즉 중요한 정보를 가진 뉴런에게 적절한 filter 기회가 주어지지 않을 수 있다.
-2x2 Max pooling, 2x2 max pooling은 2x2 block내의 4개의 뉴런 중 1개만 다음 layer로 연결된다. 뉴런의 선택은 가장 두드러진(prominent)한 뉴런을 선택하지만, 이러한 선택은 reconstruction의 정확도를 감소시킨다.
-Bilinear, Binear는 2x2 뉴런들이 각각의 가중 합으로 represent되며, 이는 어느정도 완화된 max pooling으로 생각될 수 있다. 더불어 bilinear interpolation은 되돌릴 수 없다. (irreversible)
-De-subpixel, 제안하는 De-subpixel은 위 그림과 같이 모든 뉴런에게 동등한 filter 기회가 주어진다.