HIGH RESOLUTION DEMOIRE NETWORK

HIGH RESOLUTION DEMOIRE NETWORK

-Authors: Shanhui Yang, Yajang Lei, Shuangyu Xiong, Wei Wang

 

-본 논문에서는 기존 demoireing 연구들이 multi-scale Network를 통해 moire의 complex frequency를 다루지만, relationship between different scale을 무시하는 문제점이 있다고 말합니다. 따라서 본 논문에서는 HRDN(High Resolution Demoire Network)을 제안하며, 이를 통해 서로 다른 해상도에서의 feature map간의 relationship을 전부 탐색하고자 합니다. 제안하는 네트워크는 parallel high resolution network, continuous information exchange module 그리고 final feature fusion layer로 구성되었습니다.

 

Figure 1: The proposed framework for HRDN

 

-위 Figure 1과 같이 제안하는 네트워크는 총 3가지 부분으로 나눠질 수 있습니다. 첫 번째는 preprocessing stage, backbone with several stage 그리고 final feature fusion입니다.

 

-Preprocessing stage, Pixel-Unshuffle, 2 conv layer, 4 Bottleneck block으로 구성되며 GPU memory의 계산을 낮추고 네트워크 입력 전의 입력 영상을 feature domain으로 바꾸는 역할을 수행합니다.

Figure 2: The Preprocess stage

 

-Backbone with several stage, Multiple parallel branch로 구성되며 IEM으로 구성된다. IEM은 다시 몇몇 개의 branch로 구성된다. 각 branch는 4개의 residual basic block으로 이루어지고 제일 마지막에 서로 다른 resolution의 feature map이 fuse되며 information exchange가 이루어진다.

Figure 3: The backbone with several stage

 

-Final feature fusion stage, 이전 단계의 각 branch별 output을 적절하게 fusion하는 단계이다. Down-to-top 방식으로 제일 낮은 resolution에서부터 위로 올라가는 gradually feature fusion을 사용한다. 각 단계별로 SE block을 통해 channel wise attention이 수행된다. Feature가 원본 영상의 size까지 fusion 되면 tanh() activation을 통해 output을 [-1, 1]로 normalize한다.

Figure 6: The Final feature fusion stage