Author

Xinyu Zhang Jiewei Cao

Conference

ICCV 2019

Motivation

• 现有的pseudo label estimation高度依赖于聚类结果，所以需要一种渐进的方式来逐步学到可信的伪标签。

Contribution

• 提出一种self-train的渐近式的framwork，总共分成两步conservative stage和promoting stage，在conservative stage用triplet loss来优化网络参数得到相对可信的标签，在promoting stage用cross entropy loss充分利用全局信息。
• 提出一种ranking-based triplet loss，这个loss不依赖聚类产生的伪标签。而是利用特征相似性。

Framework

Algorithm

Framework Overview

1. 首先用source domian上带标签的数据来初始化CNN模型M，用模型M提取target domain上图片特征F。
2. 在conservative stage用HDBSCAN聚类算法得到相对可信的子类Tu，用CTL(clustering-based triplet loss)和RTL(ranking-based triplet loss)优化网络参数。前者依赖于子类Tu，后者依赖于特征相似性。用优化后的网络提取特征得到Fu。
3. 在promoting stage用HDBSCAN聚类算法对新的Fu特征聚类，将cluster的个数是为ID个数，用cross entropy loss计算损失，更新网络参数。

Conservative Stage

主要为两个损失函数CTL和RTL，都很直白。

CTL

CTL将每个cluster视为一类，每次取P个cluster，每个cluster取K张图的特征，然后用hard triplet计算loss，损失函数如下：

RTL

RTL将每张图根据特征相似性(Jaccard 距离)对所有图排序，取$[ 1, \eta]$[1,η]为positive sample，取$(\eta, 2\eta]$(η,2η]为negative sample(为啥不取的更加远一些-_-)损失函数如下：

$P_p$Pp​和$P_n$Pn​分别为$x_p$xp​和$x_n$xn​相对于$x_a$xa​的ranking位置，值得注意的是这个一个soft margin，$x_p$xp​和$x_n$xn​相距越近margin应该越小，符合常理。

Promoting Stage

只用三元组损失函数容易陷入局部最优解，所以依然需要cross entropy loss来充分利用全局信息。损失函数如下：

$\hat{y_i}$yi​^​为$x_i$xi​的伪标签，这个伪标签由HDBSCAN对Fu(模型经过CTL和RTL优化之后重新对target domain上的图像提取特征)聚类得到，C为cluster的数量。值得注意的是$W_c^T$WcT​用每一类的特征均值做初始化，因为分类器每一类的参数实际上是这一类的模板，所以这么做可以加快收敛。

Experiments

Ablation Study

不同的聚类方法

SOTA