自监督学习(十一)Unsupervised Visual Representation Learning by Graph-based Consistent Constraints
Unsupervised Visual Representation Learning by Graph-based Consistent Constraints
by Graph-based Consistent Constraints)
Introduction
这篇文章的思路和方法很有趣。在之前我们介绍的自监督学习方法中,有一些是利用聚类方法对网络进行约束,这些方法都是把聚类的某些规则作为网络学习的损失函数,但是这篇文章不一样,这篇文章是以聚类为基础,利用图这一数据结构,在数据中划分出正样本和负样本,然后利用挑选出的正负样本,来训练孪生网路,通过区分一次输入的一对图像是否来自同一类,使网络学习到图像的特征表示。文章发表在ECCV 2016上,论文主页。
Unsupervised Constraint Mining
本文的核心在于如何将为标注的数据标注为正负样本。作者在这里将所有的图像看做是图上的节点,利用cycle consistency挑选正样本,利用geodesic distance挑选负样本。详细的介绍如下:
Positive constraint mining
一句话总结就是,图中能围成闭环的就是正样本。作者使用了n-order k-nearest neighbor的概念,K就表示最近邻中节点的数量,n表示节点i到节点j之间有一个长度为n的有向连接,假设i和j之间连接,那么n就是2。如图所示:
图中红色的部分就是正样本。采用在这种方法选择正样本,即使两张图像是属于同一个类别,经过聚类之后也不一定是一个,因为不同类别之间的图像可能具有很大的差别。但是使用Cycle consistency方法确定正样本,相比于聚类方法,可以更好的挖掘不是直接有连接关系的样本之间的联系。
Negative constraint mining
选择负样本作者采取的方法时候,通过计算两个节点之间的Geodesic distance选择负样本。
直接使用欧几里得距离的话可能会造成选出的图像太相似了,网络学不到什么有用的特征。
Experiments
实验部分,我们只关注其在自监督学习上的性能,这里作者比较了该方法与其他方法在VOC 07分类数据集的精度