Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs(NIPS 2020)

Self-Adaptively Learning to Demoire from Focused and Defocused Image Pairs(NIPS 2020)

Authors: Lin Liu, Shanxin Yuan, Jianzhuang Liu, Liping Bao, Gregory Slabaugh, Qi Tian

 

-본 논문에서는 영상의 high-frequency textures와 camera color filter array의 interference로 발생한 moire를 제거하는 demoireing 기법을 제안한다.

-기존의 기법들은 대량의 데이터셋 학습을 통해 복잡한 Moire를 제거하려 하지만 이는 효과적이지 못하다.

- 본 논문에서 제안하는 새로운 기법은 moire를 제거할 때 defocused moire-free image를 prior information으로 사용하며 important structural information를 통해 demoireing network의 guide를 수행시킨다.

-이는 low-frequency morie pattern은 moire-free 영상의 구조에 겹쳐진 새로운 structure로 취급될 수 있기 때문에 demorieing 네트워크가 defocused image를 guide로 사용하면 original structural information을 향상시키고, moire structure를 억압시킬 수 있다.

-제안하는 네트워크는 2개의 subnetwork를 구성되며 iteratively하게 작동한다. 각 sub-network는 moire가 포함되어 저하된 영상과 moire-free blur 영상을 입력 받는다.

-하나의 iteration마다 1개의 sub-network에서 moire가 포함되어 저하된 영상을 입 력받아 moire를 제거하고 image detail을 복원시키고, 다른 sub-network에서 moire-free blur image로부터 blur kernel를 출력한다.

 

 

-영상이 defocus되었을 때, 영상의 blur는 spatially invariant하며 아래와 같이 공식화될 수 있다. B는 blur image, K는 kernel, C는 clean image, Nσ는 σ계수만큼의 Gaussian noise이다.

B = K ⊗ C + Nσ , …… (1)

 

- 모아레가 포함된 영상에서 모아레를 제거하여 clean image를 얻는 것은 아래와 같이 공식화될 수 있다. C는 clean image, D는 demoireing network, M은 moire image이다.

C = D (M) , …… (2)

 

-수식 2를 수식 1에 대입하면 아래와 같은 식을 얻을 수 있으며 아래의 식을 통해 demoireing 네트워크 D는 Moire image에 대응하는 ground truth가 없이도 moire를 제거하는 능력을 학습하게 된다.

B = K ⊗ D (M) + Nσ , …… (3)

 

-따라서 본 논문에서의 demorieing 문제는 다음과 같이 공식화될 수 있다. Gk 는 generative network로 blur kernel k를 예측한다.