Dirichlet Distribution狄利克雷分布 / Latent Dirichlet Allocation （LDA）隐藏狄利克雷概念的理解
目录：
- Dirichlet Distribution 狄利克雷分布
- Bayesian Generative Models 贝叶斯生成模型
- Mixture Models and the EM algorithm 混合模型及EM算法
- Latent Semantic Indexing (LSA)
- Latent Dirichelt Allocation (LDA)
-
Dirichlet Distribution 狄利克雷分布
定义： 狄利克雷分布 Dir(a) 是由一个向量 theta（全为正实数） 所表示的多元概率分布。通常作为贝叶斯统计的先验分布。
那么，为什么狄利克雷分布能作为贝叶斯统计的先验分布呢？
其中一个重要的原因是：狄利克雷分布是许多重要分布的共轭先验分布。p.s. 共轭先验分布：
如果后验分布 p(theta|x)和先验分布p(theta) 是相同的概率分布类型，我们称这两为共轭分布，同时先验分布为似然函数的共轭先验分布。我们现在来看一下怎么使用狄利克雷分布来描述一组随机的多元分布。 有兴趣深入了解的同学可以参考这篇很好的blog：visualising the Dirichlet distribution.
我们现在以掷硬币为例，理想情况下，出现正面/反面的概率相等都为1/2。但是，实际情况下，我们只能通过观测结果 theta = （theta1, theta2) 其中theta1为正面的次数/总次数，vice verse。
a 满足以下两个条件：（1）和为1；（2）全为正数。这时，投硬币的结果可以由一个多项式分布来表示。换而言之，当我们投掷n次硬币 D = {x1, x2}，似然函数则为：
（k = {1, 2} 公式上打错了）在这一次投掷n次的实验中，我们可能不能获得theta1 = theta2 = 1/2， 因此我们想要通过多次投掷n次的实验，而每一次投掷出现正反面的结果概率为 theta_i = （theta_i_1, theta_i_2) 。我们通过对 theta_i 建模其概率密度函数， 从而获得我们所选取的***theta_i***概率。这个概率密度函数则为多元分布的先验分布。
这时，我们定义狄利克雷分布为：
狄利克雷分布是由一个向量**a*** 所控制的，其具有K（K=2）个元素。所以p(theta|a)*为给定a下的theta的概率。 如下图，a中的两个元素（a，b）选取不同值的时候，theta的概率分布：
未完待续