A Neural Probabilistic Language Model笔记

本文是个人笔记，lz才疏学浅，有什么理解不到位的地方欢迎各种拍 .

• 理解简述：

  其本身是语言模型，为了验证或者说是预测一句话最可能的表达，在预测的过程中产生word embedding 矩阵，在输入层中将词映射为一个m列的向量，也即词的向量表示，NPLM模型结构一共分为3层，输入 映射-隐含-输出

• 模型结构图

• 模型训练过程

  • 图中最低的是输入 映射层
    输入是当前词w_t的前n个词 (w_t-n+1~w_t-1) 经过C matrix 映射后到了映射层，模型训练的开始C matrix可以随机初始化，在论文的原文是这样的they could be initialized using prior knowledgeof semantic features. 最终模型train后C matrix也更新。
    
    • 词向量concat成矩阵
      

• 隐含层
  由映射层到隐含层函数，y_t表示词w_t出现的概率
  

• 输出层
  由隐含层到输出层归一化指数函数softmax，
  

参数：
参数迭代：
似然求参数

备注：公式中字母代表的意义请参考原论文

• 参考：
  A Neural Probabilistic Language Model
  Deep Learning in NLP （一）词向量和语言模型