《Semisupervised Autoencoder for Sentiment Analysis》阅读笔记

(AAAI-16)-Semisupervised Autoencoder for Sentiment Analysis

摘要：

本文研究了自动编码器在文本数据建模中的应用。传统的自动编码器至少有两个方面的问题: 具有较高的词汇量的可扩展性和处理与任务无关的单词。我们通过自动编码器的损失函数引入监督来解决这个问题。特别是, 我们首先在标记的数据上训练一个线性分类器, 然后使用从线性分类器中获得的权重定义自动编码器的损失函数。为了减小单个分类器所带来的偏差, 我们定义了分类器权重的后验概率分布, 并利用拉普拉斯近似推导出自动编码器的边缘化损失。我们表明, 从布雷格曼分歧的角度来看, 我们对损失函数的选择是可以合理化的, 这证明了我们模型的合理性。我们评估了我们的模型在六个情绪分析数据集上的有效性, 并表明我们的模型在分类精度方面明显优于所有竞争方法。我们还表明, 我们的模型能够利用未标记的数据集, 并获得更好的性能。进一步表明, 我们的模型成功地学习了高度判别的特征图, 这解释了其优越的性能。

总结：

在本文中, 我们提出了一种新的自动编码器扩展, 用于学习文本数据的特定任务表示。我们通过将传统的自动编码器的损耗函数放宽到布雷格曼发散, 然后从标签信息中推导出判别损耗函数。对文本分类基准的实验表明, 我们的模型明显优于 "单词袋"、传统的去噪自动编码器等竞争方法。我们还定性地想象我们的模型成功地学习了判别特征, 而这种无监督的方法是无法做到的

启发：要引导生成器的模型生成情感倾向较好的文本，则需要着重重构情感词而不是所谓出现频繁的词语