soft / hard attention 机制 理解——机器学习中的soft 和 hard
Soft attention是一种全局的attention,其中权重被softly地放在源图像所有区域
Hard attention一次关注图像的一个区域,采用0-1编码,时间花费较少,但是不可微分,所以需要更复杂的技术来进行训练
下图是从果壳网(quora)摘取的一篇回答
即在机器学习中soft 常常表示可微分,比如sigmoid和softmax机制
而hard常常表示不可微分
soft hard attention机制是在图像生成标题任务中被提出的,其原始任务如下:
上面是soft 下面是hard,我们可以看到,soft的权重是每次被放置在整张图像上,注重强调的部分(越白)的数值越接近1,越黑越接近0
下面的一排非黑即白,白色区域为1,黑色区域为0