【拔刀吧 TensorFlow】TensorFlow学习笔记九——何为卷积神经网络（二）

继续CNN之旅。

我们上一篇说到，不同的滤波器得到的特征图也不同。

而在CNN中，我们先自己指定滤波器的个数、大小和网络架构等参数，然后CNN可以在训练过程中学习最合适的滤波器的值。使用的滤波器越多，我们提取到的图像特征就越多，网络在未知图像上的识别模式也就越好。

特征图的大小，又有三个参数来控制，我们要在做卷积操作前就确定它们，分别是：1.深度（Depth）2.步长（Stride）3.零填充（Zero-padding）。

1.先说深度：简单来说就是每使用一个滤波器就能得到一个特征图，比如我们使用了3个滤波器，得到3个特征图，此时特征图深度就是3。

2.第二个是步长：就是每次移动滤波器的像素数，步长为1每次移动一个像素；步长为2，每次移动两个像素……以此类推。步长越大，得到的特征图越小。

3.最后一个概念是零填充：这里按我的理解来说就是手动设置输入图的大小，比如我们原始图像在我们设定了某个大小的滤波器后，不能按照预定步长卷积，那么我们就在图像边缘用0进行填充，把它变大。 

使用零填充的图像叫做泛卷积，未使用零填充的图像叫做严格卷积（narrow convolution）。

Relu（略）

这里的相关内容在《简介神经网络》有提及，不再赘述。

Relu的直观理解使用下图。

它将特征图中所有的负值变为了正值，也就是对特征图进行了矫正（Rectified）。

【这里引入一个自己的开始的误区，刚开始说灰度图像像素值介于0~255之间，怎么会有负值？后来发现这里说的是特征图，而我们使用滤波器得到特征图，滤波器会有负值，因此……对吧？】

原作者说：Other non linear functions such as tanh or sigmoid can also be used instead of ReLU, but ReLU has been found to perform better in most situations.  就是相比于tanh、sigmoid函数，ReLU最好用啦。

池化操作

空间池化（Spatial Pooling），亦称下采样或者亚采样。可以在保存重要信息的前提下用来降低特征图的维度。

空间池化方法有3种：最大化、平均化和求和。

最大池化：假设我们定义一个空间邻域（2x2大小的窗口），然后我们用这个窗口在矫正过的特征图（用过ReLU）中提取最大的元素。我们以2为步长滑动窗口并在每个区域内取最大值。

很好理解。

此外，亦可用求平均值和求和的方法。但是最大池化被证明表现最好。

这幅图展示了我们将池化操作分别使用在三个不同的特征图上，这样我们就可以得到3个输出图。

这幅图展示了ReLU修正图上使用不同池化操作的可视化结果。

池化操作的功能就是减少输入图的尺寸，特别的是，池化可以：

1.使得输入图维度减小，更易于管理、计算

2.减少参数的个数和计算量，避免过拟合

3.在输入图部分产生微小改变的时候，保证从池化结果的稳定性（鲁棒性）

（比如最大池化，我们不改变一个区域内最大的值，仅改变其它数值，池化结果不变）

4.这里作者说helps us arrive at an almost scale invariant representation of our image (the exact term is “equivariant”). This is very powerful since we can detect objects in an image no matter where they are located。

对于这句话我有点困惑，引用知乎答主Julius Caesar的回答：“

”

我的理解就是图像平移、缩放之后有一定概率池化结果不变？原作者给出这篇和这篇引用，等看完看看能不能懂？

截止现在我们做了什么

正如图片所示，我们目前了解了卷积、ReLU和池化是怎么工作的。这些都是构建CNN网络十分重要的内容。而图中有两组卷积、ReLU和池化操作，第二组卷积使用6个滤波器对第一组的池化结果进行卷积，得出6个特征图。进行ReLU后进行最大池化操作。这些层提取了图像的特征，驾校了图像的维度，同时保证了一定程度上的尺寸不变性。

第二组池化层的结果作为输入，送入了全连接层。（MLP）

全连接层（略）

完整的卷积网络的训练过程可以总结如下：

• 第一步：我们初始化所有的滤波器，使用随机值设置参数/权重
• 第二步：网络接收一张训练图像作为输入，通过前向传播过程（卷积、ReLU 和池化操作，以及全连接层的前向传播），找到各个类的输出概率
  • 我们假设船这张图像的输出概率是 [0.2, 0.4, 0.1, 0.3]
  • 因为对于第一张训练样本的权重是随机分配的，输出的概率也是随机的
• 第三步：在输出层计算总误差（计算 4 类的和）
  • Total Error = ∑  ½ (target probability – output probability) ²

• 第四步：使用反向传播算法，根据网络的权重计算误差的梯度，并使用梯度下降算法更新所有滤波器的值/权重以及参数的值，使输出误差最小化

  • 权重的更新与它们对总误差的占比有关
  • 当同样的图像再次作为输入，这时的输出概率可能会是 [0.1, 0.1, 0.7, 0.1]，这就与目标矢量 [0, 0, 1, 0] 更接近了
  • 这表明网络已经通过调节权重/滤波器，可以正确对这张特定图像的分类，这样输出的误差就减小了
  • 像滤波器数量、滤波器大小、网络结构等这样的参数，在第一步前都是固定的，在训练过程中保持不变——仅仅是滤波器矩阵的值和连接权重在更新

• 第五步：对训练数据中所有的图像重复步骤 1 ~ 4

结束！

References

1. karpathy/neuraltalk2: Efficient Image Captioning code in Torch, Examples
2. Shaoqing Ren, et al, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks”, 2015, arXiv:1506.01497 
3. Neural Network Architectures, Eugenio Culurciello’s blog
4. CS231n Convolutional Neural Networks for Visual Recognition, Stanford
5. Clarifai / Technology
6. Machine Learning is Fun! Part 3: Deep Learning and Convolutional Neural Networks
7. Feature extraction using convolution, Stanford
8. Wikipedia article on Kernel (image processing) 
9. Deep Learning Methods for Vision, CVPR 2012 Tutorial 
10. Neural Networks by Rob Fergus, Machine Learning Summer School 2015
11. What do the fully connected layers do in CNNs? 
12. Convolutional Neural Networks, Andrew Gibiansky 
13. A. W. Harley, “An Interactive Node-Link Visualization of Convolutional Neural Networks,” in ISVC, pages 867-877, 2015 (link). Demo
14. Understanding Convolutional Neural Networks for NLP
15. Backpropagation in Convolutional Neural Networks
16. A Beginner’s Guide To Understanding Convolutional Neural Networks
17. Vincent Dumoulin, et al, “A guide to convolution arithmetic for deep learning”, 2015, arXiv:1603.07285
18. What is the difference between deep learning and usual machine learning?
19. How is a convolutional neural network able to learn invariant features?
20. A Taxonomy of Deep Convolutional Neural Nets for Computer Vision
21. Honglak Lee, et al, “Convolutional Deep Belief Networks for Scalable Unsupervised Learning of Hierarchical Representations” (link)