DMCNN: DUAL-DOMAIN MULTI-SCALE CONVOLUTIONAL NEURAL NETWORK FOR COMPRESSION ARTIFACTS REMOVAL (ICCV 2019)
Authors: Xiaoshuai Zhang, Wenhan Yang, Yueyu Hu, Jiaying Liu
-본 논문에서는 JPEG 압축을 할 때 필연적으로 발생하는 compression artifact를 효과적으로 제거하기 위한 pixel, frequency domain을 사용하는 DMCNN(Dual-Domain Multi-scale)을 제안한다.
-DMCNN은 banding effect를 제거하고, receptive field를 넓히고, local information만으로 artifact를 제거하는 것이 부족할 수 있기 때문에 모델의 global feature 추출 능력 강화를 위한 3가지 idea가 포함된다. 1) auto-encoder style architecture, 2) Dilated convolutions, 3) Multi-scale loss. 또한 DCT domain branch를 추가하여 성능을 높힌다.
-제안하는 네트워크는 2개의 유사한 구조의 auto-encoder style의 네트워크로 구성되며 각각 DCT domain과 Pixel domain을 담당한다. Input image는 DCT branch에서 먼저 process되고, 그 다음 pixel branch로 입력된다. 최종 output은 input image, DCT branch estimation, pixel branch estimation의 합이다.
-Auto-Encoder, auto-encoder는 주어진 data를 효과적으로 학습할 수 있고, 주로 차원을 줄이기 위한 목적으로 사용된다. Encoder를 통해 artifact가 제거된 feature를 추출하고, Decoder를 통해 clean feature가 restore된다. 또한 local & global feature를 학습하기 위해 shortcut과 residual learning을 사용한다. DCT domain에서 학습한 information 강조를 위해 최종 output에 DCT domain branch의 estimation을 추가한다.
-Dilated Convolution, dilated convolution은 dilation factor를 조정하며convolution의 receptive field를 확장할 수 있다. 본 논문에서는 auto-encoder의 middle layer에 각각 dilation factor 2,4,8을 사용한다. Dilated convolution을 auto-encoder style architecture과 결합하며 receptive field를 효과적으로 확장할 수 있었다.
-DCT Rectify Unit (DRU), JPEG compression artifact의 주요 원인은 quantization 단계이다. 따라서 본 논문에서는 DCT Rectify Unit(DRU)을 통해 DCT block 요소를 제한하고, 범위를 초과하는 값을 잘라낸다.
-Multi-scale DCT-Embedded Loss, multi-scale loss는 different scale에서 feature를 추출하기 위해 사용된다. Pixel domain decoder에서 서로 다른 deconvolutional layer에서 feature를 re-scale하여 multi-scale loss에 사용한다. Multi-scale loss를 통해 네트워크는 feature의 서로 다른 scale을 학습할 수 있다. 또한 DCT loss를 추가하여 DCT domain branch를 효과적으로 학습시킨다.
-Experimental results를 통해 제안하는 DMCNN이 이전 기법들보다 우수한 성능을 보임을 확인할 수 있다.
댓글