深度学习--卷积神经网络--基本概念--卷积核--池化--全连接--Softmax函数

  卷积神经网络是深度学习中一种非常常见的神经网络，在图像识别中，有非常广泛的应用。本文脉络，先详细阐述基本概念，然后再分析整个卷积神经网络。
  1.卷积
  卷积就是对矩阵（图像）应用的滑动窗口函数。

  图中黄色的滑动窗口叫卷积核、过滤器或者特征检测器，也是一个矩阵。通过构造一个具有一定大小（宽高）和特定数值的矩阵来获取局部特征（对应元素相乘然后求和的值作为目标矩阵中对应点位的值）。并保存在一个新的矩阵或图像中。如下卷积核表示局部区域的平均值，它会一定程度令细节有所损失，边缘模糊，卷积核如下图所示：

  另外一个，如获取图像反差比较大的位置，卷积核如下所示：

  2.池化：意思就是下采样，是因为即使做完了卷积，图像仍然很大（因为卷积核比较小），所以为了降低数据维度，就进行下采样。另一方面，减少了许多数据，特征的统计属性仍能够描述图像，而且由于降低了数据维度，有效地避免了过拟合。在实际应用中，池化根据下采样的方法，分为最大值下采样（Max-Pooling）与平均值下采样（Mean-Pooling）。
  3.全连接：全连接层每个神经元与前一层所有的神经元全部连接， 而卷积神经网络前面的卷积和池化只和输入数据中的一个局部区域连接， 并且输出的神经元每个深度切片共享参数。一般经过了一系列的卷积层和池化层之后， 提取出图片的特征图， 比如说特征图的大小是3×3×512， 这个时候， 将特征图中的所有神经元变成全连接层的样子， 直观上也就是将一个3D的立方体重新排列， 变成一个全连接层， 里面有3×3×512=4608个神经元， 再经过几个隐藏层， 最后输出结果。在这个过程中为了防止过拟合会引入Dropout。
  4.激励函数：激励函数在神经网络的作用通俗上讲就是将多个线性输入转换为非线性的关系。不使用激励函数的话，神经网络的每层都只是做线性变换，多层输入叠加后也还是线性变换。因为线性模型的表达能力不够，激励函数可以引入非线性因素。常用的函数有：sigmod函数、双极性sigma函数、双曲正切函数、ReLu 函数、径向基函数。那我们怎么选用神经元/激励函数呢？一般说来，用的最多的依旧是ReLU，但是我们得小心设定学习率，同时在训练过程中，还得时不时看看神经元此时的状态(是否还『活着』)。当然，如果你非常担心神经元训练过程中挂掉，你可以试试Leaky ReLU和Maxout。少用sigmoid老古董吧，有兴趣倒是可以试试tanh，不过话说回来，通常状况下，它的效果不如ReLU/Maxout。
  5.Softmax函数：是用于分类过程，用来实现多分类的，简单来说，它把一些输出的神经元映射到（0-1）之间的实数，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。公式如下：

  其中，Vi 是分类器前级输出单元的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。通过这个Softmax函数，可以将多分类的输出数值转化为相对概率。
  本文从基础上帮助读者了解卷积神经网络的基本概念。接着将有另外一篇文章，介绍卷积神经网络实战训练。

  欢迎光临知了软件开发网络平台，本公司定制开发各类软件，主要方向为桌面专业软件开发和插件定制开发，桌面软件主要包括文字图形识别类软件，信息管理类软件，3D打印类软件，视频类软件以及其它涉及专业的各类图形图像处理软件。插件包含AE插件，AI插件，PS插件，PDF插件，3DMAX插件以及Word，Excel等Office插件开发。详情请咨询，微信QQ:312117271，手机:18928899728，邮箱: [email protected]
公司网址:http://www.zhiliaos.com