LDA主题模型

LDA是一种基于概率模型的主题模型算法(generative probabilistic model)，用来识别大规模文档集或者语料库中隐含的主题信息。对于语料库中的每篇文档，LDA定义了如下生成过程：

1. 对每一篇文档，从主题分布中抽一个主题
2. 从上述被抽到的主题对应的单词分布中抽一个单词
3. 重复上述过程直至遍历文档中的每个词

LDA认为每篇文档是多个主题混合而成，而每个主题可以由多个词的概率表征。

背景知识

共轭前驱分布（conjugate prior）

In Bayesian probability theory, if the posterior distribution p(θ|x)$p(\theta |x)$ are in the same family as the prior distribution p(θ)$p(\theta )$, the prior and the posterior are then called conjugate distributions, and the prior is called a conjugate prior for the likelihood function.

如果后验分布和先验分布同属于一个函数族，那么后验和先验称为共轭分布，先验被称为似然函数的共轭先验分布。Beta分布是二项分布的共轭先验分布，Dirichlet分布是多项分布的共轭先验分布。

根据贝叶斯规则，后验分布=似然函数*先验分布：

其中p(x|θ)$p(x|\theta )$为likelihood，p(θ)$p(\theta )$为prior belief，p(x)$p(x)$为evidence。

Dirichlet Distribution

Dirichlet分布是描述k(k≥2)$k(k\ge 2)$个变量X1,X2,⋯,Xk$X_1,X_2,\cdots ,X_k$的概率分布，其中xi∈(0,1),∑ki=1xi=1$x_i\in (0,1),\sum _{i=1}^k{x}_i=1$。Dirichlet分布的参数为α⃗ ={α1,α2,⋯,αk}$\overrightarrow{\alpha }=\{{\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_k\}$，其中αi>0${\alpha }_i>0$（不需要是整数，只需要是正实数即可）。

• αi${\alpha }_i$越大，赋予Xi$X_i$的权重就越多(∑ixi=1$\sum _i{x}_i=1$)
• 当αi${\alpha }_i$相等的时候，分布是对称的
• 当αi<1${\alpha }_i<1$时，相当于一个anti-weight把xi$x_i$ 推到一些极点(push away toward extremes)
• 当αi>1${\alpha }_i>1$时，会使得xi$x_i$聚集在中心值

• α1=⋯=αk=1${\alpha }_1=\cdots ={\alpha }_k=1$时，均匀分布

  

下图所展示的是三元Dirichlet分布，参数分别为：
1. α1=α2=α3=1${\alpha }_1={\alpha }_2={\alpha }_3=1$
2. α1=α2=α3=10${\alpha }_1={\alpha }_2={\alpha }_3=10$
3. α1=1,α2=10,α3=5${\alpha }_1=1,{\alpha }_2=10,{\alpha }_3=5$
4. α1=α2=α3=0.2${\alpha }_1={\alpha }_2={\alpha }_3=0.2$

LDA

在LDA模型中，一篇文档生成的方式如下：

1. 从狄利克雷分布α⃗ $\overrightarrow{\alpha }$中取样生成文档m$m$的主题分布 θ⃗ m${\overrightarrow{\theta }}_m$
2. 从主题的多项式分布θ⃗ m${\overrightarrow{\theta }}_m$中取样生成文档m$m$第 n$n$个词的主题zm,n$z_{m,n}$
3. 从K$K$个topic-word的狄利克雷分布中，选择k=zm,n$k=z_{m,n}$的Dirichlet 分布ϕ⃗ k${\overrightarrow{\varphi }}_k$，取样生成主题对应的词语分布
4. 从词语的多项式分布中采样最终生成词语wm,n$w_{m,n}$

---

通俗理解LDA
LDA算法漫游指南
What exactly is the alpha in the Dirichlet distribution?
LDA数学八卦