论文阅读笔记《Distribution Consistency Based Covariance Metric Networks for Few-Shot Learning》

小样本学习&元学习经典论文整理||持续更新

核心思想

  本文提出一种基于度量学习的小样本学习算法（CovaMNet），其从二阶统计量（协方差）的角度出发，通过构建各个样本的特征向量之间的协方差矩阵实现类别表征与距离度量。该算法的实现过程如下图所示

如图所示，查询集和支持集样本分别经过CNN提取特征，得到对应的特征图 X i ∈ R h × w × d X_i\in \mathbb{R}^{h\times w\times d} Xi​∈Rh×w×d，然后计算同一类别下每个样本特征图之间的协方差矩阵 Σ c \Sigma_c Σc​，因为每个类别下的样本数量有限，因此在样本维度上计算协方差矩阵很难保证协方差矩阵的非奇异性，因此作者提出一种局部协方差表征的方法，具体而言就是把特征图中每个位置对应的特征向量都看作一个局部特征描述子，然后计算每个特征描述子之间的协方差矩阵，每个特征图都有 M = h × w M=h\times w M=h×w个局部特征描述子，局部协方差矩阵计算方法如下

式中 τ ∈ R d × M \tau\in \mathbb{R}^{d\times M} τ∈Rd×M表示局部特征描述子的均值向量。得到的局部协方差矩阵 Σ c l o c a l \Sigma_c^{local} Σclocal​就可以看作是类别 c c c对应的类别表征，接着作者又提出了基于局部协方差矩阵的距离度量方法

如果 x x x的方向与协方差矩阵中前 k k k个向量的方向一致，则 f ( x , Σ ) f(x,\Sigma) f(x,Σ)函数可以取得最大值，否则 f ( x , Σ ) f(x,\Sigma) f(x,Σ)则会取到较小值，作者对该过程做了证明，此处略去。对计算得到的相似性度量矩阵进行对角化处理

z z z中包含 M M M个局部特征描述子之间的相似性，最后利用一个全连接层将其转化为全局的相似性度量

实现过程

网络结构

  特征提取网络采用4-Conv结构

损失函数

  交叉熵损失函数

创新点

• 使用二阶统计量协方差来作为类别表征，并构建了局部协方差矩阵
• 基于协方差矩阵提出了相似性度量方法用于样本分类

算法评价

  之前解读过一篇文章《Power Normalizing Second-order Similarity Network for Few-shot Learning》也是使用二阶统计量取代常用的一阶统计量来进行特征描述。本文采用的协方差矩阵相比起来要更容易计算，其表征的意义也更加的直观。

如果大家对于深度学习与计算机视觉领域感兴趣，希望获得更多的知识分享与最新的论文解读，欢迎关注我的个人公众号“深视”。