Fast and Efficient Image Quality Enhancement via Desubpixel Convolutional Neural Networks. (ECCVW 2018)

Fast and Efficient Image Quality Enhancement via Desubpixel Convolutional Neural Networks. (ECCVW 2018)

-Authors:  Thang Vu, Nguyen, Trung X. Pham, Tung M. Luu, and Chang D. Yoo (KAIST)

 

-본 논문에서는 네트워크 초반 layer에서 input의 resolution이나 feature의 size를 줄일 때 발생하는 정보의 손실을 해결하고자 De-subpixel convolution을 제안한다. 제안하는 De-subpixel convolution은 Upsampling에 사용되는 sup-pixel convolution(pixel shuffle)을 역으로 사용한다.  sup-pixel convolution은 Upsampling을 진행할때 하나의 layer를 interpolation을 통해 Up하는 것보다, 여러 layer의 pixel을 shuffle하면서 fuse하여 Upsampling하여 성능을 높혔다. 본 논문에서는 downsampling을 진행할 때 sub-pixel convolution을 역으로 진행하여, 모든 뉴런들이 골고루 사용되면 downsampling을 진행하여 정보의 손실을 최소화한다.

Figure 1: Subpixel and the proposed de-subpixel

 

Figure 2: Downsampling  기법들과   제안하는   기법의   비교 .

-Figure 2는 downsampling에 사용되는 기법들을 비교한다. 1번은 3x3 convolution with stride 2, 2번째는 2x2 max pooling, 3번째는 Bilinear, 마지막은 제안하는 de-subpixel convolution이다. 파란색 음영은 뉴런의 filtering 횟수이다.

 

-3x3 Convolution with stride 2,  3x3 convolution은 그림과 같이 뉴런이 filter되는 횟수가 1번, 2번, 4번 등 다양하다. 가장 진한 파란색은 4번 filter된 것이며, 밝은 파란색은 1번 filter된 뉴런이다. Stride=2로 하면 이러한 불규칙한(non-uniform) 뉴런의 기여(contribution)이 발생한다. 즉 중요한 정보를 가진 뉴런에게 적절한 filter 기회가 주어지지 않을 수 있다.

 

-2x2 Max pooling, 2x2 max pooling은 2x2 block내의 4개의 뉴런 중 1개만 다음 layer로 연결된다. 뉴런의 선택은 가장 두드러진(prominent)한 뉴런을 선택하지만, 이러한 선택은 reconstruction의 정확도를 감소시킨다.

 

-Bilinear, Binear는 2x2 뉴런들이 각각의 가중 합으로 represent되며, 이는 어느정도 완화된 max pooling으로 생각될 수 있다. 더불어 bilinear interpolation은 되돌릴 수 없다. (irreversible)

 

-De-subpixel, 제안하는 De-subpixel은 위 그림과 같이 모든 뉴런에게 동등한 filter 기회가 주어진다.

 

 

https://github.com/thangvubk/FEQE