Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

解决问题:1.在模型训练时利用单标签去估计语义相关性,但实际数据集中有多类标签同时存在,利用多标签更精准;2.利用哈希编码会导致高维数据的丢失

主要思想:自监督对抗哈希网络

将标签作为自监督学习的标准,建立两个对抗网络,可让文本,图像,标签在特征提取后信息丢失更少,且语义相关性保持;同时还需保持文本,图像,标签生成的哈希码相似性。以及减少文本,图像,标签自身哈希码生成到转换到统一哈希码的损失。

Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval

创新点:1.考虑到多标签的问题;2.利用自身标签作为监督信息;3.使用两个对抗网络,比较为转换成哈希码前与原始数据的差别,减少了高维数据的丢失。

缺点:虽考虑到多标签,但文章中相似度矩阵的S的描述为只要有一个标签相同,则为1;若存在多个标签,标签在图像中占的比重也不相同;有多相似并没有进行区分。