深度学习:卷积神经网络(CNN)基本概念

卷积神经网络架构中牵涉到几个概念:卷积、**函数、池化、局部参数共享。

深度学习:卷积神经网络(CNN)基本概念

基本架构

一个CNN网络一般都是卷积、池化、卷积、池化,…,全连接的模式。

卷积

从上图可以看出,一个6×6的原图与一个3×3的核(图中深红色部分)进行卷积,得到一个4×4的特征图。(此时,stride=1,padding= 0)

这里介绍几个概念

  • stride,一般称为步长。表示卷积核在图片上移动的格数。stride=1时,代表每次移动一格;stride=2时,则每次移动两格。有如下公式,

OutputSize=PictureSizeKernelSizeStride+1

  • padding,即外围补0用以扩展图片。此时,
    OutputSize=PictureSize+2×PaddingKernelSizeStride+1

池化

updating…

全连接

updating…

基本原理

1.卷积,卷积是将原始图像与一个设计好的矩阵(一般称为滤波器)按位相乘,这样就会得到一个新的矩阵。举个例子,假设我们要识别老鼠的尾巴,我们可以设计如下图类似的滤波器。
深度学习:卷积神经网络(CNN)基本概念

接来下,开始进行卷积——原图与滤波器按位相乘。当识别到老鼠尾巴时,会得到一个很大的卷积值。
深度学习:卷积神经网络(CNN)基本概念
反之,当识别到的不是老鼠尾巴部位时,卷积结果将会很小,甚至为0。
深度学习:卷积神经网络(CNN)基本概念

2.**函数,**函数也通常被称作核函数,可以将非线性可分类型映射为线性可分。例如,下图中就可以使用abs(绝对值函数)作为**函数,将蓝色与红色点线性分开。不过,分类问题一般使用softmax作为**函数。
深度学习:卷积神经网络(CNN)基本概念

3.局部参数共享,全连接是一种代价极高的操作,卷积神经网络中使用了局部参数共享以及池化技术来改善这一过程。局部参数共享,从下图中可以看出,随着层数越深,g3受到x1~x5的影响。

深度学习:卷积神经网络(CNN)基本概念

4.池化,另一个重要技术为池化,它可以在一定程度上识别不同程度漂移的图片。比如,一张人脸在正中间的图片,和人脸位于图像左侧(或右侧)的图片,对于卷积神经网络来说是几乎无区别的。
深度学习:卷积神经网络(CNN)基本概念

References:
[1] Ian, Goodfellow, Yoshua, Bengio. 深度学习[M]. 北京:人民邮电出版社, 2017.
[2] 能否对卷积神经网络工作原理做一个直观的解释?


©qingdujun
2018-6-9 于 北京 怀柔