CNN经典论文（一）之LeNet
Gradient-Based Learning Applied to Document Recognition（梯度学习在文档识别中的应用）
- 作者：Yann LeCun, Leon Bottou, Yoshua Bengio, and Patrick Haffner
- 发表时间：December 1998
- 期刊：Proceedings of the IEEE
- 影响：世界上第一个卷积神经网络
- 论文地址：Gradient-Based Learning Applied to Document Recognition
论文简介
- 数据集：MNIST database
- 应用场景：手写字体识别
论文思想
-
卷积神经网络：局部感受野（local receptive fields）、权值共享（shared weights
）或权值复制（weights replication）和时间或空间子采样（sub-sampling）。 -
Stochastic Gradient（随机梯度下降）和 Batch Gradient（批量梯度下降）的反向传播算法。
-
LeNet-5网络结构：
如上图，包括输入一共8层结构，分别是输入层-卷积层C1-下采样层S2-卷积层C3-下采样层S4-卷积层C5-全连接层F6-分类器，图中的矩阵代表经过每一层网络提取特征后的特征图大小表示，每经过一层网络，特征图变小，通道数增加。最后的全连接网络融合上一层的特征图通道，分类器输出跟预测类别数相同，在手写字体识别中[0-9]一共10类，最后输出10个类别的概率，概率最大的类别我们认为图像最可能是属于这一类别的。
特征提取过程：input_feature_map[[email protected]]----[5x5]卷积运算----C1_feature_map[[email protected]]----[2x2]下采样操作----S2_feature_map[[email protected]]----[5x5]卷积运算----C3_feature_map[[email protected]]----[2x2]下采样操作----S4_feature_map[[email protected]]—[5x5]卷积运算----C5_feature_map[[email protected]]—全连接----F6_feature_map[[email protected]]—分类----Output
其中[[email protected]]表示：6个特征图，每个特征图大小为32x32
其中卷积计算公式：(n + 2p - f)/s + 1
n:代表上一层输入特征图大小
p:代表卷积过程零填充的个数
f:代表卷积核大小
s:代表卷积步长
第一次卷积，n=32,p=0,f=5,s=1,带入得到C1的特征图大小(32+2x0-5)/1=28