论文笔记-Random Shifting for CNN: a Solution to Reduce Information Loss in Down-Sampling Layers
Hello，今天是论文阅读计划的第12天啦，快过半了哦～
今天为大家介绍的这篇论文，主要说的是在下采样层通过加入随机转换的操作，可以减少信息损失而提升精度，并且不增加任何多的计算量。
一、背景介绍
下采样在深度卷积神经网络中被广泛采用，用于在保持变换不变性的同时减少网络参数的数量。然而，它不能有效地利用信息，因为它只采用固定的步长策略，这可能导致泛化能力差和信息丢失。
本文提出了一种新的随机策略，通过在训练过程中在下采样层嵌入随机移位来缓解这些问题。随机移位通过在不同方向上移动特征映射上的核中心来动态调整感受野。因此，它可以在网络中生成更鲁棒的特征，并进一步增强下采样算子的变换不变性。
此外，随机移位不仅可以集成到所有下采样层，包括变换步长的卷积层和池化层，还可以在可忽略的额外计算成本下提高离散余弦变换神经网络的性能。
本文用不同的网络结构(如AlexNet、FCN和DFN- MR)在不同的任务(如图像分类和分割)中评估我们的方法。实验结果证明了该方法的有效性。
二、方法
随机移位可以应用于任何下采样层，以减少信息损失。只要特征图上的核步距大于1，随机移位的可用域就不为空。在训练的每次迭代中，我们从可用的随机移位域中随机选择一个作为偏移量。
算法1描述了随机移位的过程：
随机移位可以进一步增强最大池化层和交错卷积层的变换不变性，因为随机策略通过在特征图上移位核中心来扩展感受野。具有随机移位的下采样层可以生成更鲁棒的特征。此外，随机移位几乎不需要计算时间。实现很简单。图2示出了如何在前向过程中通过利用随机移位卷积中的不同信息来有效地增加感受野。
三、使用方法
在本节中，为了提供如何在实践中使用我们的方法的指导，我们探讨了两个问题:1)当使用随机移位时，如何在训练期间设置学习速率。2)如何决定应该添加哪些层随机移位。
AlexNet有5个卷积层和3个全连通层。第一和第二卷积层之后分别是汇集层和LRN层。考虑到它们的步距不是1 × 1，可以在第一卷积层和所有汇集层中应用随机移位。
对于CIFAR，我们采用NIN[林等，2014]进行实验。该网络包含3个卷积层，有192个滤波通道。我们还在每个卷积层之后使用mlp conv层，并使用一个内核大小为8的全局平均池方案进行输出预测。在前两个卷积层之后，使用具有0.5辍学率的ReLU神经元和具有步幅2的3 × 3最大汇集。由于网络中没有步长变换的卷积层，我们只在两个汇聚层中应用随机移位。
为了执行图像裁剪，对于CIFAR-10，我们通过在每侧补零4个像素来扩展数据集，得到40 × 40的图像。对于ImageNet，我们遵循传统的图像预处理方法，将所有图像的大小调整为255 × 255，并用平均值减去它们。
学习率：
当使用随机移位时，我们通过实验发现，为了使模型更好地收敛，学习率最好设置得比原始学习率低。例如，在CIFAR-10上，有/无数据增强的初始学习率为0.1，当使用随机策略时，我们将其降低到0.07。
在哪里加：
表1显示了通过向CIFAR-10上的不同层添加随机移位获得的结果。如果输入图像的尺寸较小，在较低的层中添加随机移位是一个很好的选择。如表1所示，随机移位可以分别添加到池1和池2，但是当向池2或同时向池1和池2添加随机策略时，性能就不那么好了。小输入图像限制了要素地图的大小。因此，在更高的层中通过少量像素来改变核中心意味着在输入图像上移动很多，这导致了不稳定的网络。
表2显示了ImageNet上的结果。8月是基线，我们在验证集上达到了80.19%的前5名精度，在测试中仅使用中心作物。相当接近[贾等，2014]报道的80.2%。对于较大的输入图像，表2显示，当随机策略添加到较低层(如conv1、pool1或pool2)时，不会获得明显的性能提升。低层的特征地图通常尺寸较大，在这些特征地图上改变几个像素的核心中心是微不足道的。所以在这种情况下，最好在更高层或者多层增加随机移位。
四、结论
本文的工作集中在卷积神经网络中的信息损失问题。具体来说，我们开发了一种新的通用技术，通过将所提出的随机移位应用于离散余弦变换神经网络来减少下采样层中的信息损失。与固定步长策略相比，我们采用随机策略来提高网络结构的鲁棒性，这是首次将随机性引入下采样过程。
该方法有效地抑制了上下文丢失，提高了标准网络的性能。在CIFAR- 10、CIFAR-100和ImageNet三个基准数据集上的实验结果表明，随机移位训练的DCNN模型比相应的基准模型具有更好的性能。
对于语义分割，我们也取得了扎实的进步，这进一步说明了随机移位的优越性。
另外，我们在FCN风格中嵌入随机移位来训练分类器。它不仅减少了训练时间，而且提高了网络的性能。
最后，本方法还有许多有趣的扩展。例如，可以添加更多的偏移方向来进一步增强随机性。