MMDM: Multi-frame and Multi-Scale for Image Demoireing (CVPR Workshop 2020) top 3 NTIRE 2020

MMDM: Multi-frame and Multi-Scale for Image Demoireing (CVPR Workshop 2020) top 3 NTIRE 2020

-Authors: Xi Cheng, Zhenyong Fu, Jian Yang

 

-본 논문에서는 영상의 Moire artifact를 제거하기 위해 MMDM을 제안한다.

Figure 1:  제안하는  MMDM 의  architecture

Figure 2: Multi-Scale Feature Encoding Network 의  Architecture

-Figure 2 MSFE(Multi-Scale Feature Encoding Network)는 모아레의 특징을 파악한 결과, network가 low-frequency pattern에 attention이 필요하다는 점을 주목하여 설계한 네트워크이다. Multi-Scale로 구성되며 Downsampling에는 de-subpixel convolution과 Upsampling에는 subpixel convolution을 사용한다. de-subpixel convolution은 일반적으로 downsampling에 사용되는 stride=2 convolution layer보다 information loss를 줄일 수 있고, subpixel convolution으로 upsample시 하나의 layer를 up하는 것이 아닌 여러 layer를 fuse하며 upsampling하기 때문에 정확도를 향상시킬 수 있다.

Figure 3: FERM Network 의  Architecture

-MSFE의 각 branch는 Figure 3의 FERM으로 구성된다. FERM은 10개의 residual group으로 구성되며 1개의 residual group당 20개의 residual block을 가진다. 이런 많은 parameter를 사용함으로 복잡한 moire를 효과적으로 제거할 수 있었다고 추측한다.