Introduction

本文采用了一种全新的方法，实现自监督学习，作为称其为Noise as Target，顾名思义，就是把噪声当做目标。作者选取部分目标特征作为训练的基准，是网络提取的特征尽量向这些特征对齐。论文地址

Method

对于监督学习，我们需要一个标签，在训练的过程中，使网络的输出不断向其逼近，但是在自监督学习中，我们没有标签可用，根据前面几篇博客的介绍，关于自监督学习的一些研究，很多事自己设置pretext task，比如图像自动上色和图像修复等等。作者在这里采用了和这些都不同的方法，本文是直接优化这样一个损失函数：

上式中，需要优化两组变量，一组是网络的参数$\theta$θ和标签$Y$Y，也就是说在本文中，标签也是优化的对象。这样的方法会带来一个很明显的问题，就是很容易使网络输出变成一个常数，这也是其他自监督学习中可能会面临的问题，但是该方法这种现象更加突出。为了解决这个问题，作者提出了下面的解决思路。
上面的损失函数之所以会出现这种问题，是因为标签也变成了可学习的变量，因此，为了避免这个问题呢，作者在这里对Y进行了限制，首先将Y分为两部分：

$C$C是选取的k个预定义的目标表示，P是需要学习的矩阵，取值为0或者1。而且每个图像只能选取一个预定义表示。

整个算法的更新参数如下：

Experiments

ImageNet Classification

作者首先在ImageNet上验证该方法的线性分类的效果，把特征提取层固定，只训练线性分类层，得到的效果如下

该方法在这方面获得了最好的效果。

VOC07 Classification and Detection

在VOC07上验证我们的方法作为预训练模型在分类和检测任务上的效果：

trained layers表示训练的参数层。该方法在自监督学习的任务上取得了最好的效果，但是还是比ImageNet有不小的差距。

Conclusion

本文提出了一个很有意思的方法，该方法为自监督学习提供了一种新的思路，感觉可以仔细研究。