Deep Wavelet Network with Domain Adaptation for Single Image (CVPR Workshop 2020) top 1 NTIRE 2020

Deep Wavelet Network with Domain Adaptation for Single Image (CVPR Workshop 2020) top 1 NTIRE 2020

-Authors: Xiaotong Luo, Jiangtao Zhang, Ming Hong, Yanyun Qu, Yuan Xie, Cuihua Li

 

-본 논문에서는 영상의 Moire artifact를 제거하기 위해 AWUDN을 제안한다.

Figure 1: The overall network architecture of the proposed AWUDN

-Feature mapping in wavelet domain, 제안하는 기법에는 DWT, IDWT opertation을 이용하여 feature를 downsampling, upsampling한다. 이를 통해 computation complexity를 줄이고, 정보 손실을 방지하는 역할을 한다.

 

-Global Context block, 본 논문에서 dataset을 분석한 결과 strong self-similarity 즉 데이터셋 이미지에 유사한 texture structure가 있는 것을 관찰했다. 따라서 Global Context block을 Network 전단부에 배치한다. Global Context block(Figure 2)은 global context framework, non-local module SE(Squeeze and Excitation) block 이 3가지의 characteristics을 결합으로 구성된다.

-Non-local module, convolution은 영상의 local information만 고려한다. Non-local module은 long-distance pixel들의 dependence를 capture한다. 따라서 input feature의 모든 feature들을 사용할 수 있다.

 

Figure 2: Global Context block

-nRG- Residual in Residual block, Image Super-Resolution Using Very Deep Residual Channel Attention Networks(ECCV 2018)의 논문의 아이디어이며, residual information을 좀 더 효과적으로 추출하는 역할을 한다.

 

-DCT loss, image에서와 frequency domain에서의 high-frequency detail이 다르게 분포되기 때문에, L1 loss에 DCT loss를 추가하며, DCT domain에서 high-frequency detail의 유사성을 얻을 수 있다.

 

-Fine-tuning, Source domain training data와 target domain testing data를 분석한 결과 거의 차이가 없었다. (slight domain difference를 가진다) 따라서 coral loss를 사용하여 네트워크를 fine-tuning하고 domain shift를 줄인다.