A Comprehensive Survey on Cross-modal Retrieval

Kaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE

1. 研究现状：

目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习方法目的是学习不同模态数据的实值的相同的表示，大量的binary表示学习是将不同的数据模态映射到一个公共的Hamming空间。第二种方法相似性搜索速度是很快的，但编码是二进制编码，会导致信息的丢失，检索精度一般会略有下降。根据学习常用表示时所使用的信息，将跨模态检索方法进一步划分为四类:(1)无监督方法，(2)基于成对的方法,(3)基于秩的方法,(4)有监督的方法。一般来说，一种方法利用的信息越多，它获得的性能就越好。

2. 研究挑战：

如何度量不同模式数据之间的内容相似性，即异质性差距。因此，与传统的检索方法相比，跨模态检索需要跨模态关系建模，用户可以通过提交已有的内容来检索自己想要的内容。目前，主要的研究工作是设计有效的方法，使跨模态检索更加准确和可扩展性。

3. 本文贡献：

1. 这篇文章目的是