零基础入门NLP-新闻文本分类
1、Transformer
Transformer是一种新的编码器-解码器架构，它仅使用注意力机制而不是RNN来编码每个位置，并关联有关其自身的输入和输出的两个远端单词，然后可以并行化处理，因而加快训练。
2、Attention
模仿人类视觉注意力机制，学习出一个对图像特征的权重分布，再把这个权重分布施加在原来的特征上，为后面任务如图像分类、图像识别等提供不同的特征影响，使得任务主要关注一些重点特征，忽略不重要特征，提高任务效率。
1、给定一组向量集合values，以及一个向量query，attention机制是一种根据该query计算values的加权求和的机制。
2、attention的重点就是这个集合values中的每个value的“权值”的计算方法。
3、有时候也把这种attention的机制叫做query的输出关注了（或者说叫考虑到了）原文的不同部分。（Query attends to the values）