LSTM模型在问答系统中的应用

作者系京东算法工程师。

在问答系统的应用中，用户输入一个问题，系统需要根据问题去寻找最合适的答案。

1、采用句子相似度的方式。根据问题的字面相似度选择相似度最高的问题对应的答案，但是采用这种字面相似度的方式并不能有效的捕获用户意图的能力有限。

2、IBM早期应用在watson系统中的DeepQa（http://Building%20Watson:%20An%20Overview%20of%20the%20DeepQA%20Project）算法。该算法通过人工抽取一系列的特征，然后将这些特征输入一个回归模型。该算法普适性较强，并且能有效的解决实际中的问题，但是准确率和召回率一般。

3、深度学习算法。依然是IBM的watson研究人员在2015年发表了一篇用CNN算法解决问答系统中答案选择问题的paper。通过深度学习算法不仅能够避免了人工手动抽取大量的问题特征的麻烦，并且取得了比DeepQa更好的效果。详细的介绍可以点击这里（http://Applying%20Deep%20Learning%20To%20Answer%20Selection:%20A%20Study%20And%20An%20Open%20Task），我们组的同学去年也针对该paper做了详细的实验，具体的描述可以在这里（https://www.tuicool.com/articles/zyUreqM）找到。

大量的实验证明，在大数据量的情况下，深度学习算法和传统的自然语言算法相比可以获得更优的结果。并且深度学习算法无需手动抽取特征，因此实现相对简便。其中CNN算法被大量的研究和使用，CNN算法的优点在于实现简单（卷积）、并且能够捕获数据位置（单字成词情况下，一次窗口的卷积类似于一次切词的操作）的特征信息。但是对于时序的数据，LSTM算法比CNN算法更加适合。LSTM算法综合考虑的问题时序上的特征，通过3个门函数对数据的状态特征进行计算，这里将针对LSTM在问答系统中的应用进行展开说明。

2016年watson系统研究人员发表了“LSTM-BASED DEEP LEARNING MODELS FOR NON-FACTOID ANSWER SELECTION”，该论文详细的阐述了LSTM算法在问答系统的中的应用，这里将针对文中所描述的算法进行实验。

算法流程图

实验步骤

1、本次实验采用insuranceQA数据，你可以在这里获得。实验之前首先对问题和答案按字切词，然后采用word2vec对问题和答案进行预训练（这里采用按字切词的方式避免的切词的麻烦，并且同样能获得较高的准确率）。

2、由于本次实验采用固定长度的LSTM，因此需要对问题和答案进行截断（过长）或补充（过短）。

3、实验建模Input。本次实验采用问答对的形式进行建模（q，a+，a-），q代表问题，a+代表正向答案，a-代表负向答案。insuranceQA里的训练数据已经包含了问题和正向答案，因此需要对负向答案进行选择，实验时我们采用随机的方式对负向答案进行选择，组合成（q，a+，a-）的形式。

4、将问题和答案进行Embedding（batch_size, sequence_len, embedding_size）表示。

5、对问题和答案采用相同的LSTM模型计算特征（sequence_len, batch_size, rnn_size）。

6、对时序的LSTM特征进行选择，这里采用max-pooling。

7、采用问题和答案最终计算的特征，计算目标函数（cosine_similary）。

目标函数

参数设置

1、这里优化函数采用论文中使用的SGD（采用adam优化函数时效果不如SGD）。

2、学习速率为0.1。

3、训练150轮，大概需要1天的时间，从训练日志观察得到，100轮左右基本达到稳定。

4、margin这里采用0.1，其它参数也试过0.05、0.2效果一般。

5、这里训练没有采用dropout和l2约束，之前试过dropout和l2对实验效果没有提升，这里就没有采用了。

6、batch_size这里采用100。

7、rnn_size为300（继续调大没有明显的效果提升，而且导致训练速度减慢）

8、目标函数采用cosine_similary，实验时也试过欧几里德距离，但是效果不佳。

实验效果对比

QA_CNN（https://github.com/person-lee/qa_cnn）：0.62左右

QA_LSTM（https://github.com/person-lee/lstm_qa）：0.66左右

QA_BILSTM（https://github.com/person-lee/qa_lstm）：0.68左右

注：这里分别实验了单向的LSTM和双向的LSTM算法。单向的LSTM算法只能捕获当前词之前词的特征，而双向的LSTM算法则能够同时捕获前后词的特征，实验证明双向的LSTM比单向的LSTM算法效果更佳。

原文链接：http://www.jianshu.com/p/ce0c53761299

   BY  简书  

往期精彩回顾

深度学习视频（一） | 免费放送—深度学习的应用场景和数学基础

深度学习视频（二） | 免费放送—卷积神经网络（一）

深度学习视频（三） | 免费放送—卷积神经网络（二）

深度学习视频（四） | 免费放送—深度学习的具体模型和方法

深度学习视频（五） | 免费放送—上机实操（一）

点击“阅读原文”直接打开【北京站 | GPU CUDA 进阶课程】报名链接