【论文阅读】Convolutional Sequence to Sequence Learning (未完待续)

论文github地址   值得阅读与一试:  https://github.com/facebookresearch/fairseq

以往谈到sequence  to sequence,往往会下意识地想到 RNN, 但这篇文章告诉我们,CNN 不仅可以做 sequence to sequence,不仅在大规模机器翻译的训练数据上结果比 RNN 要好,而且模型更加易于优化与加速。

好,下面开始谈 用 CNN 如何做 Sequence to Sequence:

模型架构如下:

【论文阅读】Convolutional Sequence to Sequence Learning (未完待续)

首先 encode 层: 输入是词的嵌入Rf,先要做一层线性变换Rd,经过多层卷积之后(中间要做padding保证每次卷积过后的大小不会变化),再经过gated linear units (GLU)做一次非线性变换,得到输出仍是 Rd。 



词的嵌入与位置的嵌入,