神经网络中卷积层的堆叠
在神经网络的设计中,经常会出现多个卷积层堆叠的情况,(例如VGGNet)
通过VGG16/19的结构图可以看出,每一段使用了很多卷积层堆叠,然后再经过池化层,这其实是非常有用的设计。如下图所示:
两个3x3的卷积层串联相当于1个5x5的卷积层,即一个像素会跟周围5x5的像素产生关联,可以说感受野大小为5x5.
以此类推,3个3x3的卷积层串联的效果则相当于1个7x7的卷积层。那为什么选择使用3个3x3的卷积层而不是使用1个
7x7的卷积层呢?
(1)3个串联的3x3的卷积层,拥有比1个7x7的卷积层更少的参数,参数量是后者的(3x3x3 ) /(7x7) = 55%
(2)3个3x3的卷积层比1个7x7的卷积层拥有更多的非线性变换,前者可以使用3次ReLU**函数,而后者只能使用
一次,这样使得CNN对特征的学习能力更强。