Gamma分布、Beta分布、Dirichlet分布

Γ 函数

Γ 函数是阶乘在实数上的推广,定义为:

Γ(x)=+0tx1et dt

Gamma分布、Beta分布、Dirichlet分布

Γ 函数的性质:

Γ(x+1)=xΓ(x)
Γ(n)=(n1)!

Gamma分布

根据 Γ 函数的定义有:

+0xα1exΓ(α) dx=1      ()

取积分中的函数作为概率密度,就得到了一个形式最简单的Gamma分布,其概率密度函数为:
Gamma(x|α)=xα1exΓ(α)

若将公式 () 中的 x 替换为 βt,则有下式成立:
+0(βt)α1eβtΓ(α) d(βt)=1
等价于:
+0βαtα1eβtΓ(α) dt=1      ()

于是就得到了Gamma分布更一般的形式,概率密度函数为:
Gamma(t|α,β)=βαtα1eβtΓ(α)

其中, α 为Gamma分布的 shape parameter,主要决定了曲线的形状;而 β 为Gamma分布的 rate parameter 或者 inverse scale parameter,主要决定了曲线有多陡。Gamma分布的归一化常数恰为 Γ 函数在点 α 处的值 Γ(α)

Gamma分布的期望、方差

E(t)=αβ
D(t)=αβ2

Gamma分布、Beta分布、Dirichlet分布

Beta函数

Beta函数的定义

B(α,β)=10xα1(1x)β1 dx
其中 α,β>0

Beta函数性质

1.对称性

B(α,β)=B(β,α)

2.与Γ函数的关系
B(α,β)=Γ(α)Γ(β)Γ(α+β)
其中 α,β>0

Beta分布

根据Beta函数的定义有:

10pα1(1p)β1B(α,β) dp=1

上式中取积分中的函数作为概率密度,就得到了Beta分布:
B(p|α,β)=pα1(1p)β1B(α,β)
可以发现Beta分布的归一化常数恰为Beta函数在 (α,β) 处的值

Beta 分布的期望、方差

E(p)=αα+β
D[p]=ab(a+b)2(a+b+1)

Gamma分布、Beta分布、Dirichlet分布

Dirichlet分布

Dirichlet(狄利克雷)可以看做是将Beta分布推广到多变量的情形。概率密度函数定义如下

Dir(p⃗ |α⃗ )=1B(α⃗ )k=1Kpαk1k     ()
其中,α⃗ =(α1,α2,,αK) 为Dirichlet分布的参数。满足:
α1,α2,,αK>0

B(α⃗ ) 表示 Dirichlet分布的归一化常数:
B(α⃗ )=k=1Kpαk1k dp⃗ 
类似于Beta函数有以下等式成立:
B(α⃗ )=Γ(Kk=1αk)Kk=1Γ(αk)
归一化常数B(α⃗ ) 有时也记为 Δ(α⃗ )

Dirichlet概率密度函数定义在 K1 维单纯形上,随机变量 p⃗  满足以下条件:

p1,p2,,pK>0
p1+p2++pK=1

Dirichlet分布的期望为:

E(p⃗ )=(α1Kk=1αk,α2Kk=1αk,,αKKk=1αk)

Gamma分布、Beta分布、Dirichlet分布