自然语言处理 | (14) 神经网络语言模型

在本篇博客中,我们将从基于n-gram的传统统计语言模型,过渡到典型的前馈神经网络模型(全联接网络)和循环神经网络模型。

目录

1.传统语言模型

2. 神经网络语言模型

3.RNN语言模型训练过程

4. 语言模型评估


1.传统语言模型

自然语言处理 | (14) 神经网络语言模型

  • 文本稀疏性

自然语言处理 | (14) 神经网络语言模型

  • 泛化能力不佳

自然语言处理 | (14) 神经网络语言模型

 

2. 神经网络语言模型

自然语言处理 | (14) 神经网络语言模型

自然语言处理 | (14) 神经网络语言模型

自然语言处理 | (14) 神经网络语言模型

  • RNN语言模型

自然语言处理 | (14) 神经网络语言模型

自然语言处理 | (14) 神经网络语言模型

自然语言处理 | (14) 神经网络语言模型

3.RNN语言模型训练过程

自然语言处理 | (14) 神经网络语言模型

 

  • 反向传播

自然语言处理 | (14) 神经网络语言模型

 

4. 语言模型评估

自然语言处理 | (14) 神经网络语言模型

5.扩展阅读