论文阅读笔记《Boosting Few-Shot Visual Learning with Self-Supervision》

核心思想

  本文提出一种利用额外自监督任务提高小样本学习能力的算法，自监督学习是指模型在训练时只需要图像本身的信息，而不需要额外的标注信息。本文的核心思想就在于将额外的自监督学习任务与小样本分类任务结合起来，二者共用一个特征提取网络，利用自监督学习任务提高特征提取网络的表征能力，从而改善小样本分类任务的效果，该算法的实现方式如下图所示。

  本文选择的小样本分类算法有PN和CC（基于余弦相似性的方法，如Dynamic和Imprinting），本文选择的自监督学习任务有图像旋转预测和图块相对位置预测（图中表示的是图像旋转预测任务）。小样本学习部分不再详述了，不了解的话可以点击超链接阅读之前的论文解析。下面简单介绍以下两个自监督学习任务：
图像旋转预测。作者将原始图像分别旋转0°，90°，180°和270°后输入到特征提取网络$F_{\theta}$Fθ​中，再利用一个旋转分类器$R_{\phi}$Rϕ​预测当前输入图像的旋转角度，损失函数如下

图块相对位置预测。作者将图像分成3*3的九个图块，将外围的八个图块分别与中间图块级联后，输入到特征提取网络$F_{\theta}$Fθ​中，再利用一个相对位置分类器$P_{\phi}$Pϕ​输出当前图块与中间图块的相对位置，损失函数如下

  将小样本分类损失函数与自监督损失函数相加就得到了最终的混合损失函数

值得注意的是，因为自监督学习任务不需要额外的标注信息，因此对于自监督学习任务可以拓展到其他的大规模无标记数据集中，与带有标注的数据集共同构成一个半监督学习过程，损失函数如下

实现过程

网络结构

  特征提取网络可采用4-Conv或WRN-28-10.

损失函数

  见上文

创新点

• 将小样本分类任务与自监督学习任务相结合，通过提高特征提取网络的表征能力，来改善小样本分类效果

算法评价

  本文在本质上讲就是一个多任务融合的方法，将小样本分类任务与自监督学习任务相结合，两个任务共用一个特征提取网络，一个混合损失函数。在对自监督学习任务进行训练的过程中可以提高特征提取网络的表征能力，而且自监督任务不需要标注信息，因此这也解决了数据集缺少多个任务标注信息的问题（如果与语义分割任务结合，那么就要求数据集既有分类标注，又有分割标注，但自监督任务就不存在这个问题），并且可以进一步拓展到半监督学习中，利用大规模的无标注图像对网络进行训练。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。