ImageNet Classification with Deep Convolutional Neural Networks 译文

我们并不是最早考虑替换传统CNN神经元模型的人。比如，J【11】等人宣称利用f (x) = |tanh(x)|非线性在Caltech-101数据集上做对比度归一化（Contrast Normalization，CN）和局部平均值池化表现得很好。

然而，关于这个数据集的主要问题是要防止过拟合，所以他们观察到的效果，与我们报告的使用ReLUs时对训练集的适应（fit）累积能力不同。更快的学习对于在大型数据集上训练大型模型的表现有重大影响。

3.2 多GPU并行训练

单个的GTX580GPU只有3G的存储空间，这会限制能够在其上训练的网络大小。充分训练网络需要120万张训练样本图，这对于一个GPU而言量太大了，所以我们将网络分布在两个GPU上。

现在的GPU非常适合做跨GPU并行运算，因为它们可以直接向彼此的存储中做读写操作，而无需通过宿主机存储。

我们采用的这种并行模式主要是将各一半的网络内核（或神经元）放在每个GPU上，然后再采用一个小技巧：将GPU通信限制在某些特定的层上。

这意味着，比如，第三层的内核从所有的第二层内核映射（kernel map）中获得输入，但是，第四层的内核只从和自己在同一个GPU上的第三层内核中获得输入。

选择一种连接模式对于交互验证是个问题，但这允许我们精确调整连接的数量，直到计算量落入一个可接受的范围内。

由此产生的结构会和所谓的“柱状（columnar）”CNN有些类似（由Ciresan等人【5】开发），只是我们的“柱子”不是独立的（见图2）。与用一个GPU训练每个卷积层只有一半的内核的网络相比，这种结构将我们的TOP-1错误和TOP-5错误分别降低了1.7%和1.2%。双GPU结构网络比单GPU网络所需的训练时间要稍微少一些。

3.3 局部反应归一化（Local Response Normalization）

ReLUs有一个很赞的属性，它们无需对输入数据进行归一化来避免其饱和【？】。如果至少有一些训练样例为ReLU产生了正输入，那么这个神经元就会进行学习。

然而，我们还是发现下面这种归一化的模式能够更好地泛化。

设由第i个内核计算(x, y)位置的ReLU非线性的活动为aⁱ_x,y，反应归一化（response-normalized）活动bⁱ_x,y如下公式所示：

其中，累加公式中的n表示同一空间【GPU？】上邻接于该位置的所有内核映射的数量，N表示这一层的所有内核数。内核映射的顺序当然是任意的，并且是在训练之前就定好了的。

这种反应归一化（response normalization）实现了一种模仿生物神经元的横向抑制【层间不通讯？？】，让神经元在利用不同内核进行计算的大规模活动中产生竞争。常数k，n，α和β是超系数，它们的值由验证集决定。我们取k = 2, n = 5, α= 10^-4, and β = 0.75.我们在特定层使用ReLU非线性之后应用这种归一化（见3.5）

这种模式与J【11】提出的局部对比度归一化有点类似，但我们的方法更准确的描述应该是亮度归一化，因为我们并不减去均值。

反应归一化将我们的TOP-1和TOP-5错误分别降低了1.4%和1.2%。我们还在CIFAR-10数据集上验证了该模式的效果：四层CNN不用归一化错误率为13%，用了之后降到了11%。

3.4 重叠池化

CNN中的池化层负责对同一内核映射中相邻的神经元组的输出求和【？summarize the outputs of neighboring groups of neurons in the same kernel map.】。一般地，被邻接的池化单元求和的邻居节点是没有重复的【17，11，4】。

为了更加精确，一个池化层可以看做由相隔s个像素占据的池化单元组成的网格所构成，每个单元负责对相邻的z*z范围的中心区域求和。若设s=z，我们就能够获得用于大多数CNN的传统的局部池化方法。若设s<z，我们就得到了有重叠的池化。

这就是我们在自己的网络中使用的方法，s=2，z=3.与无重叠的s=z=2相比，这一模式在产生相同维度的输出时分别将TOP1和TOP5降低了0.4%和0.3%。

我们还观察到，采用有重叠的池化能稍稍让模型更难过拟合。

3.5 整体结构

现在我们可以描述我们的CNN的整体结构了。如图2，这个网络包含8个加权的层：前五个是卷积层，后三个是全连接层。

最后一个全连接层输出一个1000维的softmax来表达对于1000个类别的预测。

我们的网络采取取最大值的多标量罗吉斯回归，它与maximizing the average across training cases of the log-probability of the correct label under the prediction distribution【？】等价

第2、4、5个卷积层的内核只与前一层与自己同在一个GPU上的内核映射相连接。

第三层的内核与全部的第二层内核映射相连接。全连接层的神经元与上层神经元全都有连接。

反应归一化层跟在第二个卷积层后面。最大值池化层（如3.4所讨论的）跟在反应归一化层后面和第五个卷积层后面。ReLU非线性被应用在每个卷积层和全连接层

第一个卷积层的输入是224 × 224 × 3【注：3是RGB】的图像，然后用96个11 × 11 × 3的步长为4像素的内核去过滤（步长是相邻神经元感知区域中心之间的距离）。

第二个卷积层将第一个卷积层的输出作为输入（反应归一化并池化），然后用256个5 × 5 × 48的内核进行过滤。

第三、四、五层卷积层前后相连，之间没有池化层和归一化层。第三个卷积层有384个3 × 3 × 256的内核，连接着第二个卷积层的输出（归一化+池化）。第四个卷积层有384个3 × 3 × 192的内核，第五个卷积层有256个3 × 3 × 192的内核。每个全连接层各有4096个神经元。

4. 减少过拟合

我们的神经网络拥有6000万的参数，虽然ILSVRC的1000个类别将从图片到标签的映射限制在10个bits，这依然不足以训练这么多的参数而不造成过拟合。下面，我们将介绍两种对付过拟合的基本方法。

4.1 数据集放大DataAugmentation

最简单最常用的减少过拟合的方法就是利用标签保存变形技术人工放大数据集【如文献25，4，5】。我们采取了两种不同形式的数据放大，它们都允许在仅对原图做少量计算的情况下产生变形的新图，所以变形后的新图无需存储在硬盘中。

在我们的实现中，变形的新图由Python在CPU上计算产生，与此同时，GPU仍在计算其他的之前批次的图片。所以这种放大数据集的方式是很高效很节省计算资源的。

第一种放大数据集（产生新图）的方式由图片翻译【？translations】和水平镜像组成，我们通过从256X256的图片中随机抽取224X224的区块（及其水平镜像）来实现这种方法，并在这些抽取后得到的区块上训练我们的神经网络。

这种方法为我们的训练集增加了2048个因子【？ This increases the size of our training set by a factor of 2048】，虽然这些生成的训练图片明显是相互关联的。如果不采用这种方法，我们的网络会出现严重的过拟合，进而迫使我们采用更小的网络。在测试过程中，网络会抽取五个（四角和中间）224 x 224的区块及其水平镜像进行预测，然后将softmax层对这十个区块做出的预测取平均。

第二种放大数据集的方法是对训练图片的RGB频谱密度进行改变。特别地，我们在整个ImageNet训练集上对RGB像素进行主成分分析（PCA），对于每张训练图像，我们通过均值为0，方差为0.1的高斯分布产生一个随机值（译者：设为a），然后通过向图像中加入更大比例的相应的本征值的a倍，把其主成分翻倍【we add multiples of the found principal components, with magnitudes proportional to the corresponding eigenvalues times a random variable drawn from a Gaussian with mean zero and standard deviation 0.1】。因此，对于每个RGB像素 I_xy =[I_xy^R , I_xy^G , I_xy^B ]^T我们加入的值如下：

其中，p_i 和λ_i分别是第i个特征向量和第i个3x3RGB协方差矩阵的本征值。而αi是前面所述的随机变量。对于一张特定的训练图片的所有像素，每个αi仅被抽取一次，直到这张图再次被用于训练才会再次提取随机变量。

这一方案能够近似地捕捉原始图像的一些重要特征，即那些不随光线强度与颜色变化的物体特质。这一方法把top-1错误降低了1%。

4.2 DROPOUT

降低测试错误的一种有效方法是联立多种不同模型的预测结果【1，3】，但这种方法对于大型神经网络来说似乎太昂贵了，需要好几天去训练。然而，有一种非常高效的模型联立方法，只需要在训练过程中消耗一到两个因子。这种新近研究出来的技术叫做“DROPOUT”【10】，它会以50%的概率将每个隐藏层神经元置零。

以这种方法被置零的神经元不再参与前馈和BP过程。

所以每次一个输入进来之后，这个神经网都会被置于不同的结构，但所有这些结构共享同一套参数。这种技术降低了神经元间相互适应的复杂性，因为每个神经元都不可能依赖其他特定某个神经元的表现。

因此，模型*学习更加健壮的特征，使之能够被许多不同的随机神经元子集使用。在测试中，我们使用所有的神经元，但是把它们的输出乘以0.5，这是一种对大量dropout网络产生的预测分布的几何均值的合理近似。

我们在图2中的前两个全连接层使用dropout。否则，我们的网络会表现出严重的过拟合。dropout大概会让达到收敛所需要的迭代次数翻倍。

5. 学习过程的细节

我们每个训练批次有128个样本，在其上采用随机梯度下降进行训练。设置增量【？momentum】为0.9，权值衰退因子为0.0005.我们发现小的权重衰退因子对于模型学习很重要，换句话说，权重衰退因子在这里不光是个正则化因子，它还可以减少模型错误。权值w的更新规则是：

其中，i是迭代次数，v是增量【？momentum】，ε是学习速率，是第i批次的目标函数关于w的导数（wi的偏导数）Di的平均值【？is the average over the ith batch D_i of the derivative of the objective with respect to w, evaluated at w_i.】

我们将每一层的权值利用均值为0方差为0.01的高斯分布随机初始化，我们用常数1初始化第2、4、5卷积层和全连接隐藏层的偏置神经元（常数单元）。这种初始化通过向ReLUs提供正输入，加速了学习的早期过程。我们将其它层的偏置神经元初始化为0.

在整个学习过程中，我们在所有层都使用人工调整的相等的学习速率。我们采用的启发式方法是当验证误差不在降低时，就把当前的学习速率除以10。学习速率初始化为0.01，并在结束前减小3次。（做三次除以10）

我们大概用120万张图片把我们的网络训练了约90轮，在两个NVIDIA GTX 580 3GB GPU上这大概要5到6天。

6 实验结果

我们在ILSVRC-2010数据集上的实验结果归纳在表1里。我们的网络top-1和top-5测试误差分别是37.5%和17.0%。在此之前ILSVRC- 2010数据集上的最好的比赛纪录是对在不同特征上训练的留个稀疏自编码器取平均，top-1和top-5测试误差分别是47.1%和28.2%【2】。

之后，已出版的最佳结果是一种 对两个在不同取样密度的 费舍向量上训练的 分类器取平均的方法，结果是45.7%和25.7%【24】。

我们也让我们的模型参加了ILSVRC-2012的比赛，并在表2中展示了我们的结果。因为ILSVRC-2012测试集的标签并未公开，所以我们不能报告我们所有试过的模型的测试错误率。在这一段的余下部分，我们使用验证误差代替测试误差，因为根据我们的经验，它们的差距不会大于0.1%（见表2）。本文介绍的卷积神经网络达到了Top-5错误18.2%的水平。5个相同CNN平均TOP-5错误为16.4%。

训练一个比之前说的五个卷积层还多一个卷积层的CNN去分类整个ImageNet Fall 2011数据集（1500万张图，22000个类别），然后对其进行调整，在ILSVRC-2012上可以达到16.6%的TOP-5错误。

两个在ImageNet Fall 2011数据集上预训练的CNN，加上前面提到的五个CNN，平均TOP-5为15.3%。比赛的第二名达到了26.2%的TOP-5，他们用的是对 几个在特征取样密度不同的费舍向量上训练的分类器的预测结果取平均的方法【7】。

6.1 定量分析

图3展示了网络的两个数据连接层学到的卷积内核。网络学到了一系列“频率+方向选择”【frequency-and orientation-selective】的内核，还有一系列色块。请注意两个GPU表现除出了不同的特性，这是3.5节介绍的限制互联方式的结果。GPU 1上的内核基本上不在意颜色，而GPU 2 上的内核就是色彩专家。这种专一性每次都会出现，与权值的随机初始化无关（GPU重新编号）。

在图四的左侧，我们定量地展示了对于8张图片网络所学习到的前五个预测。注意对于偏离中心的物体，比如左上角的那只螨虫，网络依然可以识别出来。大多数前五个标签看起来都比较合理，比如，只有其他类别的猫科动物才被判别是豹子的可能标签。在一些例子中，比如栅栏，樱桃，确实对于究竟该关注哪个物体存在歧义。

另一个研究可视化网络所学知识的方法是考虑最后一个4096维隐层所**的特征向量。

如果两张图的向量欧氏距离很小，我们可以说很大程度上神经网络认为它们是相似的。图4展示了五张测试集中的图片，以及按照上述方法找出的分别与这五张图最相似的6张训练集图片。

注意在像素尺度上，找出来的训练集图片不一定在L2【？】上和第一列的测试集图片很相似。比如，找出来的狗狗和大象摆出了不同的造型。我们用更多的测试集图片支持证明了这一观点。

通过两个4096维的实数向量之间的欧氏距离来计算相似度显然效率很低，但可以通过训练一个自编码器去把这些向量压缩为二进制编码来提高效率。这应该能够产生一种比 对原始像素进行自编码【14】 更好的图像检索方法，因为（对原始像素进行自编码）用不到标签，因此它倾向于找出具有同样边缘模式的图片，而不是语义上相似的图。

7 讨论

我们的结果显示一个大型深度卷积神经网络能够在一个极具挑战的数据集上进行破纪录的纯粹的监督学习。值得注意的是，如果把我们的网络去掉一层卷积层，表现就会变差。比如，去掉任意隐藏层会让top-1错误增加2%，所以深度对于我们的成功真的很重要。

为了简化我们的实验，我们并未使用非监督的预训练，即使我们知道这样会有帮助，特别是如果我们能够获得足够的计算力去大幅提升网络规模却不相应地增加标签数据的数量。至此，我们的结果已经通过增大我们的网络规模、进行更长时间的训练而得到优化。

但我们还有很大的空间去优化网络使之能够像人类的视觉系统一样感知时序。

最终我们希望在视频序列上使用极大极深的卷积神经网，因为视频序列的时序结构能够提供丰富的信息，这些信息在静态图片上丢失了，或远远没有那么明显。