Underexposed Photo Enhancement using Deep Illumination Estimation (CVPR 2019)

Underexposed Photo Enhancement using Deep Illumination Estimation (CVPR 2019)

Authors: Ruixing Wang, Qing Zhang, Chi-Wing Fu, Xiaoyong Shen, Wei-Shi Zheng, Jiaya Jia

 

-본 논문에서는 underexposed 영상을 향상시키기 위한 네트워크를 제안한다. 제안하는 네트워크는 이전 기법들과 같이 image-to-image mapping 형식이 아닌 intermediate illumination을 통한 image-to-illumination mapping 형식이며 다양한 illumination constraints와 priors를 고려한 새로운 loss function 또한 개발했다.

 

Figure 1: The proposed network architecture

-제안하는 네트워크는 먼저 입력 영상을 downsampling 하고 Encoder를 통해서 local feature(contrast, detail sharpness, shadow and highlight)과 global feature(color distribution, average brightness and scene category)를 추출한다. 그 다음 2개의 feature를 concat하며 low-resolution illumination을 예측한다. 그 다음 Bilateral grid based upsampling을 통해 full-resolution multi-channel illumination (hot color map)을 생성하고 이를 입력 영상과 합하여 최종 full-resolution enhanced image를 생성한다.

-Image-to-illumination, image-to-image 방식이 아닌 새롭게 제안하는 image-to-illumination의 장점은 natural 영상의 illumination은 상대적으로 단순한 형태를 가지기 때문에 이를 이용하면 network로 하여금 더 강한 generalization 능력을 가지게 할 수 있으며 다양한 light condition에 따른 복잡한 photographic adjustment가 아니기 때문에 효과적으로 학습될 수 있다.

-Loss function, Reconstruction Loss, Color Loss, Smoothness Loss, 본 네트워크를 학습하는 데 총 3가지의 Loss function이 사용된다. 최종 결과 영상인 Full-resolution enhanced image와 Expert-retouched 사이에 color loss와reconstruction loss로 학습한다. Smoothness Loss는 natural 영상의 illumination이 일반적으로 locally smooth한 관찰을 토대로 사용하며, 이를 통해 over-fitting과 네트워크 일반화 능력, 그리고 image contrast를 향상시킨다.