Wavelet-Based Dual-Branch Network for Image Demoireing (ECCV 2020)

Wavelet-Based Dual-Branch Network for Image Demoireing (ECCV 2020)

-Authors:  Lin Liu, Jianzhuang Liu, Shanxin Yuan, Gregory Slabaugh, Aleˇs Leonardis, Wengang Zhou, Qi Tian

Figure 1: The architecture of the proposed WDNet, consisting of 2 kinds of branches, the dense branch(b), the dilation branch(c)

 

-본 논문에서는 지금까지 RGB domain에서 demoireing를 제거하는 기법들은 moire pattern이 real-texture와 구별이 어려워 효과적이지 못하다는 문제점을 파악하며, 제안하는 Wavelet-based dual-branch network(WDNet)을 통해 screen captured image demoireing을 진행한다.

-Moire pattern은 이전 image restoration(image denoising, super-resolution)과 다르게 high frequency image detail을 유지하면서, frequency의 넓은 범위로 퍼져있는 moire pattern을 제거해야 한다. 또한 본 논문에서는 demoireing은 RGB domain보다 frequency domain에서 더 효과적이라고 가정하며 실험을 진행했다.

-제안하는 네트워크는 먼저 FWT(fast wavelet transform, Haar wavelet)을 통해 moire image를 서로 다른 frequency band로 분해시킨다. 아래 figure 2의 (c) 참고. 그 다음 dual branch structure에 입력되며 moire를 효과적으로 제거하고 IFWT(inverse fast wavelet transform)을 통해 최종 이미지를 출력한다.

 

Figure 2: (a) An image with moire patterns. (b) The ground truth of (a). (c) Wavelet subbands transformed from the gray-level image of (a). (d) Wavelet subbands transformed from the gray-level image of (b). (e) Difference between (c) and (d).

-Figure 2의 (c), (d)를 확대한 사진은 아래의 Figure 3와 같다. 아래의 그림을 통해 moire pattern 이 특정 frequency에서 나타나는 것을 확인할 수 있다.

 

(a)

(b)

(c)

Figure 3: (a)moire image Wavelet subbands transformed확대사진, (b)ground truth Wavelet subbands transformed확대사진, (c) (a)-(b)

 

-Dual branch는 dense branch(figure 3, (b))와 dilated branch(figure 3, (c))로 구성되며, dense branch는 근거리의 정보를 효과적으로 복원하고, dilation branch는 원거리의 정보를 효과적으로 복원한다.

       Figure 4: The architecture of the dense branch(b) and the dilation branch(c)