基于局部特征描述的小样本学习论文介绍

本次介绍的一篇论文是2019年发布在CVPR上的一篇：

Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning

这篇文章也是基于度量学习做的小样本，先简单回顾一下之前的一些模型。

对于衡量两个特征表示间的距离，匹配网络使用了余弦相似性公式，原型网络使用了欧几里得距离，关系网络使用一个网络来学习，当然，大部分的小样本学习工作使用的距离都是欧几里得距离。不过，他们度量的两个特征表示是全局性的，而这次介绍的论文度量的是局部性的特征描述。可以看图来理解全局性特征描述和局部性特征描述：

我们将一张3×84×84的图片，经过提特征之后得到64×21×21的特征表示，64代表通道数，那么这种情况下就有两种方式来理解这个特征。

第一种全局性特征，我们可以将64×21×21的特征表示分成64个21×21（也可以展开成441长度的一维向量）的特征表示，这样就有64个不同卷积核得到的64个不同的特征，但是这些特征都是通过整张图片的信息得到的，即可以理解为包含了整张图片的信息，所以可以称为全局性特征描述。

第二种局部性特征，我们可以将64×21×21的特征表示分成441个64长度的一维特征表示，每个64长度的一维向量中的数都是从图片中同一片区域卷积计算得到的，它会有一个重点关注的局部区域，所以我们可以认为这64个数组成的向量就代表这个区域的特征表示。

这篇论文即用到了第二种局部性特征描述，使用余弦相似性来计算两者之间的距离，那么两张图片的特征间，就会有一个441×441大小的距离矩阵，这个矩阵中的每个数都是两个局部性特征描述的余弦相似性。这篇论文中取矩阵中每行前3个最大值，得到的441×3个数的和作为两个特征间的距离。

论文的模型结构图如下：

由于这篇论文整体模型和原型网络差不多，就在距离度量时换成了上述说的局部性特征描述，所以具体的公式我就没有放上来，感兴趣的话可以下载原文浏览，同时该文章的作者也公布了源码，从实验结果上来说性能确实比原型网络好了许多，所以还是有一定参考价值的。