神经网络中卷积层的堆叠

在神经网络的设计中,经常会出现多个卷积层堆叠的情况,(例如VGGNet)

神经网络中卷积层的堆叠

通过VGG16/19的结构图可以看出,每一段使用了很多卷积层堆叠,然后再经过池化层,这其实是非常有用的设计。如下图所示:

神经网络中卷积层的堆叠


两个3x3的卷积层串联相当于1个5x5的卷积层,即一个像素会跟周围5x5的像素产生关联,可以说感受野大小为5x5.

以此类推,3个3x3的卷积层串联的效果则相当于1个7x7的卷积层。那为什么选择使用3个3x3的卷积层而不是使用1个

7x7的卷积层呢?


(1)3个串联的3x3的卷积层,拥有比1个7x7的卷积层更少的参数,参数量是后者的(3x3x3 ) /(7x7) = 55%

(2)3个3x3的卷积层比1个7x7的卷积层拥有更多的非线性变换,前者可以使用3次ReLU**函数,而后者只能使用

          一次,这样使得CNN对特征的学习能力更强。