第三周笔记

---

概率主题模型：混合一元语言模型

• 用两个词分布来表示，以此去除背景词（常见但意义不大的词）
• θd表示主题词分布
• θB表示背景词分布

• 文本中某个词的概率计算

混合两个一元语言模型（解析）

• 利用最大似然求解混合两个一元语言模型时，θd和θB会出现“合作”和“竞争”
• 在θB（背景词）分布中，概率大的词，相对地在θd（主题词）中概率会变小
• 某个词出现的次数越多，那么它在θd中的概率越高

• 假设【所有参数已知】求某个词，其来自主题词的概率公式（z为隐变量，当z为1是表示该词来自背景词）

最大期望算法 Expectation-Maximization（EM）

• 给p（w|θd）随机初始化一个值，通过E-step和M-step计算，使初始值改变，逐渐逼近最佳值（局部最优值）
• E-step是用附加信息来支持数据，像z（E-step用来计算lower bound的）
• M-step是用附加信息来分开数据，分隔数据账目并收集正确的数据账目，重新估计参数（M-step用来提升，最大化下界）

• EM算法的解释（像爬山，最终会收敛于一个局部最优）
• - - - - 1.糟糕的初始值可能会得不到全局最优

概率隐语义分析 Probabilistic Latent Semantic Analysis（PLSA）

• 混合一元语言模型有多个（k个）主题分布的情况（注意参数λ和π）

• 参数解析

• 参数计算（最大似然函数）

• 最大似然难求解，可用EM算法，同理有E-step和M-step

潜在利克雷分布 Latent Dirichlet Allocation（LDA）

• 最大后验概率估计

• PLSA的一些缺点
• - - - - 1.不是一个生成模型，即无法计算新文档的概率
• - - - - 1.参数过多，使得计算过程复杂

• 与PLAS相比，LDA所做出的改进
  
  

• 似然函数的调整

课程小结

---

课后测验