【论文阅读】Convolutional Sequence to Sequence Learning (未完待续)
论文github地址 值得阅读与一试: https://github.com/facebookresearch/fairseq
以往谈到sequence to sequence,往往会下意识地想到 RNN, 但这篇文章告诉我们,CNN 不仅可以做 sequence to sequence,不仅在大规模机器翻译的训练数据上结果比 RNN 要好,而且模型更加易于优化与加速。
好,下面开始谈 用 CNN 如何做 Sequence to Sequence:
模型架构如下:
首先 encode 层: 输入是词的嵌入Rf,先要做一层线性变换Rd,经过多层卷积之后(中间要做padding保证每次卷积过后的大小不会变化),再经过gated linear units (GLU)做一次非线性变换,得到输出仍是 Rd。
词的嵌入与位置的嵌入,