卷积神经网络week1笔记
1.计算机视觉问题
包括图片分类,物体检测,神经风格迁移等等。对于比较大尺寸的图片,普通的神经网络可能不再适用,这时候运用卷积神经网络。
2.边缘检测示例
神经网络前几层检验处边缘,后面几层检测出物体的部分,再后面几层检测出完整物体。一张图片进行垂直或者水平边缘检测会出现如上结果。
这里举了垂直边缘检测的例子。filter如图所示。生成的矩阵高于一定阈值的部分就是边缘,因为此处图片较小所以边缘不是很清楚。
3.padding
如果不padding,边缘信息进行运算次数较少,导致部分信息丢失。n*n的图片经过f*f算子,缩小成(n-f+1)*(n-f+1)的图片。
padding即在边缘进行填充,值记为p。输出图片为(n-f+1+2p)*(n-f+1+2p)。
tensorflow中valid padding指p=0;same padding指输出图片和输入图片一样,因此p=(f-1)/2,f一般为奇数。
4.stride
stride指算子一次移动的距离,记为s,默认为1。
如果s不为1,若移动的窗口最后落在图片外面,则舍去该项。
5.参数个数
假设有10个3*3*3卷积核,参数个数为10*(3*3*3+1)=280
6.标记总结
7.简单神经网络示例
卷积神将网络分为卷积层,池化层,全连接层。
8.池化层
池化层没有需要学习的参数,分为最大池化和平均池化。输入输出如下
9.卷积神经网络示例
这里给出了LeNet-5的例子
10.使用卷积神经网络的原因
参数少:图中例子卷积神经网络需要6*(5*5+1)=156个参数,而全连接需要3072*4704约14m个参数
参数共享:一个特征检测器(例如一个垂直边缘检测器)可能对图片多个部分有用
连接的稀疏性:每层每个输出只取决于一小部分的输入。