Seq2seq+attention机制理解

部分一:背景

Seq2seq+attention机制理解

部分二:基本介绍

Seq2seq+attention机制理解

这里我们将encoder阶段叫做编码阶段。对应的decoder阶段叫做解码阶段。中间语义向量C可以看做是所有的输入内容的一个集合,所有的输入内容都包括在隐藏状态C里面。

说明:此时每一个输入序列末尾添加;若序列长度较短,可在后面附上符号,如下:

Seq2seq+attention机制理解

部分三

编码阶段(假设一共有T时刻)

Seq2seq+attention机制理解

Seq2seq+attention机制理解

解码阶段

  1. 对于整体预测概率为

Seq2seq+attention机制理解
Seq2seq+attention机制理解
Seq2seq+attention机制理解

中间向量C

Seq2seq+attention机制理解

Seq2seq+attention机制理解

部分四

添加:

注意力机制(一图胜千言)

Seq2seq+attention机制理解