论文笔记 Cross-modal Bidirectional Translation via Reinforcement Learning

Cross-modal Bidirectional Translation via Reinforcement Learning

先说说这篇文章是做什么的，做跨模态的翻译，但是这里也没有翻译的亚子，只是能给文本呢以及图片选择匹配度最高的对象打个分。先看网络架构

左边是一个textCNN, CNN 丢出输出后，丢给LSTM，LSTM 处理后，将所有的隐层加起来作为表征。而右边是一个CNN， CNN处理后把特征图（按图上理解）拉成一个长条也是喂给一个LSTM,中间饥饿几个全连接层用于翻译。我觉得右边在表征过程中应该丢失了一些空间信息的，因为按行拉长的话，本来两行之间距离很近的像素会距离在LSTM中距离会很长。第一行第一个第二行第一个的距离会很远。

而且，CNN+LSTM这种东西就很神奇，把词向量铺开之后，每个句子其实就是一个矩阵，右边的图片也是矩阵，应该是可以用同样的方式去做的。但这里左边CNN+LSTM，右边CNN+LSTM两个地方的CNN是不一样的，可以看到左边的卷积层宽度是一个词向量的长度。

我觉得这篇文章有用的想法就是，这里的损失函数是双向的，将左边文本空间的表征A通过一个全连接层f1翻译成右边他图像的表征B，图像空间B再通过另一个全连接层f2翻译成C。

最后他会计算A，B之间的相似度和A,C之间的相似度的带权和作为最终的损失函数。

这差不多就是论文的全部内容的。损失函数的部分，章节标题名居然是
Reinforcement Learning Procedure。我真的看不出来这和强化学习有什么关系。题目里面说via Reinforcement Learning。论文中哪里有Reinforcement Learning。3.2节说自己是Reinforcement Learning, 因为自己用了policy gradient. 你的policy的兄弟？木有policy,木有environment， 木有action， 木有state。。。哦不，你有state，但这个state 不是马尔可夫决策过程的state，而是LSTM的state。