卷积神经网络笔记_1概述

卷积神经网络和全连接神经网络相似，都是由神经元构成，神经元中有需要学习的参数。通过网络的输入，最后得出结果，通过损失函数来优化网络中的参数。

全连接神经网络，由一系列隐藏层构成，每个隐藏层由若干个神经元构成，每个神经元与前一层所有神经元想关联，但是每一层的神经元相互独立。

卷积神经网络是一个3D容量的神经元，以三个维度排列：高度，宽度和深度。
卷积神经瓦罗有三个主要层结构：卷积层，池化层和全连接层。通过堆叠这些层形成形成完整的卷积神经网络。卷积神经网络将原始图片转化成最后的类别得分，一些层（比如卷积层和全连接层）包含参数，另一些层（比如**层和池化层）不包含参数。参数通过梯度下降法进行更新，最后得到较好的效果。
、、
1.卷积层

1.1概述

卷积层是CNN的你核心，大多数计算在卷积层中进行。

卷积层的参数由科学系的滤波器集合构成。每个滤波器在宽度和高度上比较小，但是在深度上和输入数据的深度保持一致。 在前向传播时，让每个滤波器在输入数据的宽度和高度上滑动（即卷积），然后计算整个滤波器和输入数据任意一处的内积。

滤波器沿着输入数据的宽度和高度滑动时，会形成一个二维的**图，**图的每个位置表示原图片对对于该滤波器的的反应。网路会让滤波器学到当他看到某种类型的视觉特征的时候就**。

每个卷积层上会有一个集合的滤波器，比如20个，则形成20张二维的，不同的**图。将这些**图在深度方向上叠起来形成卷积层的输出。

1.2局部连接

让每个神经元只与输入数据的一个局部区域连接。这个局部区域就是特征。

与神经元链接的空间大小叫做感受野（receptive field），感受野的大小是人为设置的超参数。其实就是滤波器的宽和高。

1.3空间排列

卷积层的输出深度是超参数，与使用滤波器的数量一致。每种滤波器所作的就是在输入数据中寻找一种特征（一种滤波器寻找一种特征）。

华东滤波器的时候，指定步长。滑动滤波器的操作会使数据在空间上变小。

边界填充：将输入数据用0在边界进行填充，超参数。作用：控制输出数据在空间上的尺寸，常用于保证输入和输出在空间上的尺寸一致。

1.4参数共享

1.5总结

2.池化层

在卷积层之间周期性的插入一个池化层，作用：逐渐降低数据体的空间尺寸，减少网络中参数的数量。

通常取窗口谱中最大值作为输出结果。

3.全连接层

在这个过程为了防止过拟合引入dropout。
进入全连接层之前，使用全局平均池化能够有效降低过拟合。

4.卷积神经网络的基本形式

1.（（将卷积层+relu层）+池化层）—>不断重复—>直到在空间上被缩小到足够的小的尺寸---->将特征图展开—>连接几层全连接层----->输出结果。

a.几个小滤波器卷积层的组合效果要好于一个大的滤波器卷积层。
b.输入层一般应该被2整除多次，32，64，96，224
c.卷积层应该使用小尺寸滤波器，3×3，5×5，step=1
d.池化层一般2*2，step=2.一般池化层的感受野小于等于3.数据太大会导致池荷花激烈进而数据丢失。
e.如果不使用0填充，则图像的边缘信息会丢失。

参考：深度学习之pytorch