SCAN: Spatial Color Attention Networks for Real Single Image Super-Resolution (CVPRW 2019)
-Authors: Xuan Xu and Xin Li
-본 논문에서는 최근 우수한 성능을 보이는 attention mechanism을 R,G,B channel에 적용한 SCAN(Spatial Color Attention Network)을 제안한다. 제안하는 spatial color attention module은 residual group의 output feature를 통해 각 color components에 대한 중요한 color information을 조정한다.
-Attention은 많은 high-level vision tasks(e.g., image captioning, lip reading, image classification and image understanding)에서 우수한 성능을 보이며, 이러한 성능은 이미지에서 유용한 component(e.g., salient regions)를 우선시하기 때문이다.
-Attention은 low-level vision task에서는 아직 충분히 파악되지 않았지만, 현재까지 channel-attention, channel-spatial attention, non-local attention 등이 사용된다.
-하지만 아직까지 channel mechanism이 color image나 또는 spectral band까지 확장되어 사용하지 않기 때문에서 본 논문에서 이를 이용하여, 제안하는 네트워크가 유용한 정보에 초점을 맞추도록 color channel들 사이에 상호 의존성을 사용한다.
-SCAM(Spatial Color Attention Module), input image가 R,G,B channel로 분리되며 각각 RCSA module의 input으로 입력된다. 이전 related work인 SISR과의 차이점은 SISR은 R,G,B, 채널을 equal하게 다루지만, 제안하는 RCSA는 각 채널을 separately하게 다룬다.
-Basic_RGM의 output 은 SCAM의 output인 R,G,B information과 element-wise product를 통해 fuse하며 을 re-calibrate하게 된다.
-이렇게 만들어진 , 는 각 R,G,B의 spatial color information을 표현한다. 이 3가지 , 는 concat후 1x1 conv을 통해 fuse되며 최종 output 을 출력한다.
-SCAM으로 R,G,B을 각각 분리한 후 basic_RGM의 feature map에 R,G,B를 적용하며, network는 channel attention과 spatial color attention을 fuse하며, input feature map을 더욱 잘 re-calibrate할 수 있다.
-RCAB block-Channel Attention, 먼저 input feature를 global average pooling을 통해 squeeze한다. 그 후 SENet(Squeeze & Excitation)을 사용하여 simple gating mechanism을 사용한다. 마지막으로 SE의 output을 input feature map과 element-wise product하고 input을 더해진다. 즉 RCAB는 channel attention module을 통해 rescaled feature map을 출력한다.
-RCSA(Residual Channel-Spatial Attention)-Spatial Attention, RCAB의 output rescaled feature map은 Spatial Attention을 통해 최종적으로 spatial color attention feature map을 출력한다.
-이전 related work들은 각 R,G,B feature map을 동등하게 취급했지만, 제안하는 RCSA module를 적용함으로 single color channel information을 re-calibrate할 수 있다.
댓글