본문 바로가기
논문리뷰

Densely Connected Convolutional Networks. (CVPR 2017)

by Park Hyun Kook 2020. 6. 1.

Densely Connected Convolutional Networks. (CVPR 2017)

  Authors: Gao HuangZhuang LiuLaurens van der MaatenKilian Q. Weinberger.

- 본 논문에서는 ResNet으로 최근 네트워크의 깊이가 점점 깊어지지만, ResNet에서 발견된 문제인 많은 layer들이 실제로 많은 기여를 하지 못하고, training random하게 성능을 저하시키고, 또한 layer 별로 own weight 가지기 때문에 파라미터의 수도 많다는 문제를 해결하기 위해 DenseNet 제안한다.

- DenseNet 이전 layer들의 feature map 다음 layer 입력으로 연결하는 방식으로 ResNet feature map add했다면 DenseNet feature map concate하는 차이점을 가진다. 이러한 concat 이전 feature map 현재의 feature map 서로 섞이지 않게 학습하게 만든다. 또한 연결을 통해 input feature middle layer feature 지속적으로 네트워크에 연결되며 gradient vanishing 문제를 해결하고 feature propagation 강화한다. 또한 parameter 또한 줄일 있다.

 

Figure 1. ResNet 과  DensNet architecture 와  parameter 수   비교 . DenseNet 의  parameter 가   더   적은   것을   확인할   수   있다

- Growth rate, 그림 2 같이 이전 layer output 계속 concat하면 channel 계속해서 커져서 계산량이 늘어날 있다. 논문에서는growth rate라는 개념을 도입하여, 블록의 convolution들은 growth rate만큼만 channel output하여 channel 수가 늘어나 계산량이 많아지는 문제를 해결한다.

 

Figure 2, densely connected layer, growth rate=4 이며   각  feature map 의   개수를   보여준다.

- Bottleneck layer, ResNet bottleneck block DensNet bottleneck block 비교했을 , 3x3 convolution 이전에 1x1 convolution으로 feature map channel 개수를 줄인다. ResNet 후로 1x1 convolution 통해 input feature map channel 개수만큼 늘리지만, DenseNet growth rate만큼 feature map 생성한다는 차이가 있다. DenseNet 1x1 convolution 연산으로 4*growth rate 개의 feature map 만들고 3x3 convolution 통해 growth rate개의 feature map으로 한번 줄인다. bottleneck layer 이용하면 동일한 파라미터 수를 이용했을 좋은 성능을 보였다.

 

Figure 3, ResNet의 bottleneck block과 DensNet의 bottleneck block

- Transition block, DenseNet feature downsampling transition block 사용한다. block 1x1 convolution 2x2 average pooling으로 구성된다. 1x1 convolution 통해 feature map 개수를 줄일 줄여주는 정도를 하이퍼 파라미터 theta 이용하며 논문에서는 compression이라고 표현한다. transition layer 들어가면 먼저 1x1 convolution에서 feature map 개수가 theta 통해 줄어들고, 2x2 average pooling으로 feature map width, height 절반으로 줄어들게 된다. Theta=1 경우 feature map 개수를 줄이지 않고 그대로 가져오게 된다.

댓글