Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning基于异构图的知识迁移


论文链接:https://arxiv.org/abs/1911.09046

相关介绍

摘要

作者提出了一种新的基于异构图的知识转移方法(HGKT),该方法利用图神经网络来实现对不可见类和实例的不可知。具体来说,利用所看到的类的高级代表节点构造一个结构化的异构图,这些代表节点通过Wasserstein barycenter进行选择,以同时捕获类间和类内的关系。通过图神经网络学习聚合、嵌入函数(aggregation and embedding functions),利用图神经网络通过聚合相邻节点的信息计算不可见类的embedding。

main contributions

  1. 通过构建图神经网络捕获(capture)类内和类间关系。(不同类及同类的特征之间的迁移学习)。
  2. 使用Wasserstein metric 计算质心确定类内代表节点。(节点的筛选有去噪的作用,但文章未在这一部分做更多介绍和改进

算法步骤

1. 计算代表节点

  1. 主要方法:Wasserstein metric。
  2. 主要目的:计算质心,将距离质心最近的节点作为每一类的代表节点。

2. 异构图神经网络的构建

  1. 节点:每一个图片为一个节点,visual feature为初始化信息。(这里有一个筛选过程,并非所有的样本都能参与训练,而是以代表节点为中心用k-NN算法求得可控的样本数,k既然是可调的应当有一个以k为变量的结果对比,或者k值的选择说明
  2. 边:类内全连接,类间代表节点为全连接。
    Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning基于异构图的知识迁移

3.训练过程

Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning基于异构图的知识迁移
等同于异构转同构,GCN的框架训练网络得到embedding。

4. 测试阶段

Heterogeneous Graph-based Knowledge Transfer for Generalized Zero-shot Learning基于异构图的知识迁移
可理解为将所有的class attributes映射到新的空间(即embedding),找到最相近的embedding以确定标签。