ANVARI, Z., AND ATHITSOS, V. Dehaze-glcgan: Unpaired single image de-hazing via adversarial training. arXiv preprint arXiv:2008.06632 (2020).
-본 논문에서는 unpaired dataset을 활용한 image dehazing을 진행하며 Cycle-consistent manner를 활용한 Dehaze-GLCGAN을 제안하였다.
-본 논문은 CycleGAN과 동일하게 2개의 Generator(haze->clean, clean->haze)를 이용한 cycle-consistent manner를 활용하였다(그림 1 참조).
Generator,
본 논문에서 본래 영상의 texture, structure, detail을 유지하며 haze만 제거하기 위해 Generator에 3가지 모듈을 구성하였다. Encoder, feature transformation 그리고 decoder이다. 이 3가지는 그림 2를 참고할 수 있으며 feature transformation에서 6개의 residual block으로 deep feature를 생성하는데, 이렇게 deep feature를 활용한 이유는 본 논문에서는 “it becomes capable of representing very complex functions and also learns features at many different levels of abstraction.” 라고 표현하였다. 본인이 생각하기에 Generator가 영상의 texture, structure, detail을 유지하며 haze만 제거하는 복잡한 task를 해야 하기 때문에 이를 전부 수행하기 위해 deep feature로 추출한 것 같다.
Discriminator,
최근 unpaired dataset을 활용한 GAN모델에서 많이 사용하는 Global, Local Discriminator 2개를 착안하였으며 이를 통해 전역적, 지역적 특성을 활용하여 성능을 향상시킨다. 이전 기법들과의 차이점이 있다면 영상을 crop시켜 Local Discriminator에 입력할 때 이전까지 crop된 1개의 영상만 입력하였다면 crop된 5개의 영상을 입력시킨다(더 많은 지역적 정보 활용 가능). 이렇게 Global & Local을 활용한 이유는 연구 초기 단계에서 Global discriminator만 활용하였을 때 영상 내에 광범위하고 다양한 형태로 퍼진 haze 영상에서 성능이 좋지 않았기 때문에 이를 해결하기 위해 Local discriminator도 활용한다고 적혀있다.
Loss function,
본 논문에서는 i)adversarial loss, ii) cycle consistency loss, iii) color loss, iV)cyclic perceptual loss 총 4가지를 사용하며 4개의 loss는 모두 global & local에서 동작한다.
i) adversarial loss: Haze 영상의 도메인을 clean 영상의 도메인으로 변경하는 역할
ii) cycle consistency loss: Unpaired dataset을 이용하였을 때 mode collapse(어떤 입력 영상이든 모두 같은 output으로 매핑되며 최적화가 실패하는 것)가 발생할 수 있기 때문에, adversarial loss만으로 제대로된 매핑 함수 학습이 보장되지 않을 수 있다. 따라서 가능한 매핑 함수의 공간을 줄이기 위한 역할을 수행한다.
iii) color loss: Generator가 생성한 영상이 clean영상의 color distribution과 동일하게 생성하도록 만드는 역할을 수행한다.
iV) cyclic perceptual loss: adversarial loss와 cycle consistency loss는 본래 영상의 콘텐츠가 shift가 되는 것을 방지할 수 없다. 따라서 본래 영상의 콘텐츠를 유지하기 위해 perceptual loss(pre-trained VGG16 model에서 feature domain loss)를 활용하여 입력 영상과 generator가 만든 dehaze 영상을 feature domain에서 비교하며 본래 영상의 콘텐츠를 유지시킨다. 본 논문에서는 해당 loss function을 cycle-consistent manner에서 활용하였기 때문에 cyclic perceptual loss라고 이름을 붙였다.
댓글