论文阅读笔记《Large Margin Few-Shot Learning》
小样本学习&元学习经典论文整理||持续更新
核心思想
本文提出一种基于度量学习的小样本学习算法（L-GNN，L-PN），其思想与上篇文章《Deep Triplet Ranking Networks for One-Shot Recognition》非常相似，就是提出一种三元损失函数，来引导网络拉近类内距离，增加类间距离。算法的思想如下图所示
图(a)显示了不带有Large Margin损失函数训练的到的分类器结果，可以看到黄色类别样本和蓝色类别样本之间的距离非常接近，而且查询样本（蓝色十字）距离黄色类别的样本更近，因此会被误分类为黄色类别。而图(b)显示了带有Large Margin损失函数的训练结果，不同颜色的类别样本在空间中的距离被明显拉开，且查询样本要更接近蓝色类别样本。本文设计的三元损失函数如下
x
i
a
x_i^a
xia表示锚点样本（anchor sample）,而
x
i
p
x_i^p
xip表示该锚点样本对应的正向样本（同类别样本），
x
i
n
x_i^n
xin表示该锚点样本对应的负向样本（不同类别样本），m表示超参数，
(
x
i
a
,
x
i
p
,
x
i
n
)
(x_i^a,x_i^p,x_i^n)
(xia,xip,xin)就构成了一个三元组。上式表示希望减少
x
i
a
x_i^a
xia和
x
i
p
x_i^p
xip之间的距离，而增大
x
i
a
x_i^a
xia和
x
i
n
x_i^n
xin之间的距离。上式还可以写成如下的形式
S
s
S_s
Ss表示与
x
i
x_i
xi来自同一类别的样本集，
S
d
S_d
Sd表示与
x
i
x_i
xi来自不同类别的样本集。对上式计算梯度可得
可以看到梯度中包含两项，第一项式将样本与同类别中心
c
s
c_s
cs之间的距离拉近，而第二项式将样本与其他类别中心
c
d
c_d
cd之间的距离推远，如图（c）中所展示的效果。
作者将该损失函数与GNN算法和PN算法相结合，得到了超越原算法的分类效果。
实现过程
网络结构
与结合算法的结构相同
损失函数
创新点
- 提出一种三元损失函数
算法评价
文章整体的思路与《Deep Triplet Ranking Networks for One-Shot Recognition》实在是太像了，都是设计了三元损失函数，用于引导特征网络的训练，拉近同类样本之间的距离，增大不同类样本之间的距离，说明这一思想得到了非常广泛的关注和研究，是解决小样本分类问题的关键之一。
如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。