NLP学习笔记（9）

目前深度学习的NLP存在一些局限性，比如通过自监督学习学得一个很好的模型真正理解语言的奥义（需要大量的标注信息）

第一个难题就是没有一个模型可以在所有的任务上取得好效果，之前提到的dynamic memory network就是为了来解决 这个问题的

第二个难题是没有办法共享多任务之间的参数，也就是说没有办法用一个模型去jointly训练多任务

下面这篇论文是为了解决上面这个问题的：其中第三部分的dependency parsing是做一个二分类问题，对每一对单词判定是否有依存关系，很简单，但是却有效，虽然可能生成一些不合法的语法树但是这是少数，可以加一些剪枝等机制来处理这些少数。训练的时候要分步训练，训练完上一个任务训练下一个任务的时候要对上一个任务的参数的变化设惩罚项使得一开始不会把训练好的参数又弄乱掉


第三个问题：训练时没见过的单词预测不出来。可以用之前讲过的很多方法解决，比如直接复制输入之类的。

第四个问题：



解决方法：


解决方法：CNN


下面讲的这篇论文实现了记忆功能，很有意思，有时间可以找来看看。这里的记忆是指，如果说LSTM的记忆是缓存cach，那么这个记忆应该是内存RAM

欧耶完结撒花：谢谢雷锋字幕组——优秀的搬运工，虽然翻译做得还不是很好哈哈哈