注意力机制Attention Model（mechanism） 的 套路

向AI转型的程序员都关注了这个号????????????

机器学习AI算法工程   公众号：datayx

最近刷了一些attention相关的paper，网上相关的资料也有很多，在此只讲一讲自己对于attention的理解，力求做到简洁明了。

一.attention 的本质

其中General Attention并不常见，（可能笔者读的paper不够多，目前还没有遇到过）因此在这里不做介绍。接下来详细介绍下Location-based Attention和Concatenation-based Attention的设计。

具体我们来举几个例子，可能具体实现上，有略微区别，不过都大同小异：

Example 1：Attentive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention_sigir17

Example 3：Dipole Diagnosis Prediction in Healthcare via Attention-based Bidirectional Recurrent Neural Network_2017KDD

Example 5：Learning to Generate Rock Descriptions from Multivariate Well Logs with Hierarchical Attention_2017KDD

看到这里相信大家对于attention有了较为直观的感觉，其实套路都差不太多，看各家paper给出的公式也都差不多，具体是结合问题，怎么去设计这个attention向量，怎么去说故事罢了。

三.attention 的扩展 （多层attention，常见的是2层）

Example 2：Leveraging Contextual Sentence Relations for Extractive Summarization Using a Neural Attention Model_SIGIR2017

Example 4:Attentive Collaborative Filtering Multimedia Recommendation with Item- and Component-Level Attention_sigir17

四.总结

原文地址 https://blog.****.net/BVL10101111/article/details/78470716

阿里云双11大促  服务器ECS  数据库 全场1折

活动地址

1核2G1M，86一年，¥229三年

2核4G3M，¥799三年

2核8G5M，¥1399三年

......

---

阅读过本文的人还看了以下文章：