文章简介：

作者认为神经摘要模型可以利用预先训练的语言表示来生成更抽象的文本

主要方法：

很多摘要生成是在源文本复制词，而不是去理解 解释它，而作者解释作者使用的数据集TK;DR数据集，的摘要是人工撰写，不同于一些用复制+少量人工撰写的新闻数据集；

模型对比：

其中Transformer+Pretrain，是采用的【1】
pseudo self attention method：S是encoder的输出，Uk,Uu是附加参数，可以理解成再注入encoder上下文信息进入decoder进行约束，其他和原始transfomer一致；

1.copy加上后，在lstm改进很明显，在transfomer改进很少；但是总的来说不回导致性能的下降；
2.

实验结果和评估：

评估方法：
1. % novel n-grams：计算新生成的n-grams的比率
2. n-gram abstractiveness：
作者针对1评估方法不足提出的

主要是想说明作者提出的方法：transformer(pseudo
self attention computation)+pretrain 在这两个评估标准上，显著的性能更好；表现出来的是作者的文本摘要抽象性甚至比人写的还要好

ununderstood:*
为什么这句话用1的标准出来是60%?

Reference

【1】：Encoderagnostic adaptation for conditional language generation