今天分享的paper是Neural Headline Generation with Minimum Risk Training。

本文通过将评价指标融入目标函数来训练模型，在中文和英文数据集上均取得了超过之前所有模型的结果。结果一点也不意外，因为传统的MLE并不是以ROUGE评价指标最大为目标函数，而本文的方法针对了评价指标来做文章，一定会得到不错的结果。反过来，我们需要思考一个问题，如果文本摘要领域中出现了一个更加科学和准确的评价指标，不仅仅简单的比共现n-gram，那么本文的模型会不会得到一个优于其他模型的结果呢？个人觉得本文的方法很好地利用了评价指标，但对于研究摘要问题的本质并无太多的帮助，只是获得了更好的指标。有一点投其所好的感觉。

综述

本文研究NHG(Neural Headline Generation)模型。

用Neural的思路来解决HG问题有以下优势：

1、完全数据驱动，不依赖与人工标注和语言学特征。

2、完全端到端，引入注意力机制会得到更好的效果。

存在以下弊端：

1、当前的优化方法都是用最大似然估计（MLE）来训练数据，没有将评价指标考虑在内。

本文用Minimum Risk Training(MRT)来改善NHG模型，将评价指标考虑在优化目标内，在中文和英文两个真实数据集上取得了不错的结果。

NHG模型

模型采用encoder-decoder框架，encoder和decoder都采用rnn作为模型。

Encoder

Encoder包括两种：GRU和Bi-RNN。

Bi-RNN克服了传统RNN的语义偏置最后一个词的缺点。

Decoder

Decoder采用GRU，在生成结果时引入了注意力模型。

MRT+NHG

MLE

传统的训练方法都是采用最大似然估计来做，目标函数如下：

MRT

本文采用了最小风险训练方法来训练模型，目的是减少期望的损失。目标函数如下：

进一步可以推出：

作进一步近似处理：

公式中的用来计算误差，这样训练处的模型将会将评价指标考虑在内。ROUGE是最常见的评价方法，所以本文考虑将ROUGE评价方法融入到目标函数中。

ROUGE

本文考虑两种ROUGE指标，ROUGE-N和ROUGE-L。本文为了将ROUGE评价指标融入到目标函数中，定义了

实验结果

DUC2004评测对比结果：

英文数据集上，本文模型的结果明显优于其他模型，包括之前的ABS+模型。

中文LCSTS数据上平尺对比结果：

采用MRT目标函数的模型远优于MLE作为目标函数的模型。

来源：paperweekly

原文链接