漫步数理统计二十四——伽玛、卡方与贝塔分布

本篇博文我们讲介绍伽玛(Γ)，卡方(χ2)与贝塔(β)分布。在高等微积分中已经证明过，对于α>0，积分

\int \infty 0 y α - 1 e - y d y

存在且积分值为正数，这个积分称为α的伽玛函数，写成

Γ (α) = \int \infty 0 y α - 1 e - y d y

如果α=1，显然

Γ (1) = \int \infty 0 e - y d y = 1

如果α>1，用分部积分法可得

Γ (α) = (α - 1) \int \infty 0 y α - 2 e - y d y = (α - 1) Γ (α - 1)

因此如果α是比1大的正整数，那么

Γ (α) = (α - 1) (α - 2) \dots (3) (2) (1) Γ (1) = (α - 1)!

因为Γ(1)=1，这表明我们可以取0!=1。

我们用积分形式定义了Γ(α)，现在我们引入新变量y=x/β，其中β>0，那么

Γ (α) = \int \infty 0 (x β) α - 1 e x / β (1 β) d x

或者等价的

1 = \int \infty 0 1 Γ (α) β α x α - 1 e - x / β d x

因为α>0,β>0,Γ(α)>0，所以

f (x) = {1 Γ (α) β α x α - 1 e - x / β 0 0 < x < \infty e l s e w h e r e

是连续型随机变量的pdf，有这种pdf形式的随机变量X满足参数为α,β的伽玛分布，写作X满足Γ(α,β)分布。

注1：伽玛分布是等待时间的概率模型；例如在寿命测试中，直到死亡的等待时间是用伽玛分布建模的随机变量。为了理解这个，假设泊松假定以及区间长度w是时间区间，特别地令随机变量W是得到k变化量所需要的时间，其中k是固定的正整数，那么W的cdf为

G (w) = P (W \leq w) = 1 - P (W > w)

然而对于w>0，事件W>w等价于时间区间w内少于k变化量的概率，即如果随机变量X是区间w内的变化量，那么

P (W > w) = \sum x = 0 k - 1 P (X = x) = \sum x = 0 k - 1 (λ w) x e - λ w x!

读者需要证明

\int \infty λ w z k - 1 e - z (k - 1)! d x = \sum x = 0 k - 1 (λ w) x e - λ w x!

如果我们接受这个结论，那么对w>0我们有

G (w) = 1 - \int \infty λ w z k - 1 e - z Γ (k) d z = \int λ w 0 z k - 1 e - z Γ (k) d z

且对于w≤0,G(w)=0。如果我们改变积分变量，将z=λy代入的

G (w) = \int w 0 λ k y k - 1 e - λ y Γ (k) d y, w > 0

且对于w≤0,G(w)=0。所以W的pdf为

g (w) = G' (w) = {λ k y k - 1 e - λ y Γ (k) 0 0 < w < \infty e l s e w h e r e

即W满足α=k,β=1/λ的伽玛分布，如果W是第一次变化的等待时间，即k=1，那么W的pdf为

g (w) = {λ e - λ w 0 0 < w < \infty e l s e w h e r e

W满足参数为λ的指数分布。

接下来计算伽玛分布的mgf。因为

M (t) = \int \infty 0 e t x 1 Γ (α) β α x α - 1 e - x / β d x = \int \infty 0 1 Γ (α) β α x α - 1 e - x (1 - β t) / β d x

我们可以令y=x(1−βt)/β,t<1/β或者x=βy/(1−βt) 得到

M (t) = \int \infty 0 β / (1 - β t) Γ (α) β α (β y 1 - β t) α - 1 e - y d y

即

M (t) = (1 1 - β t) α \int \infty 0 1 Γ (α) y α - 1 e - y d y = 1 (1 - β t) α, t < 1 β

现在

M' (t) = (- α) (1 - β t) - α - 1 (- β)

且

M ″ (t) = (- α) (- α - 1) (1 - β t) - α - 2 (- β) 2

因此对于伽玛分布我们有

μ = M' (0) = α β

且

σ 2 = M ″ (0) - μ 2 = α (α + 1) β 2 - α 2 β 2 = α β 2

例1：令等待时间W满足α=k,β=1/λ的伽玛pdf，那么E(W)=k/λ。如果k=1，那么E(W)=1/λ；即对于k=1变化的期望等待时间等于λ的倒数。

例2：令X表示随机变量，使得

E (X m) = (m + 3)! 3! 3 m, m = 1, 2, 3, \dots

那么X的mgf为级数

M (t) = 1 + 4! 3 3! 1! t + 5! 32 3! 2! t 2 + 6! 33 3! 3! t 3 + \dots

然而这是(1−3t)−4的麦克劳林级数，假设−1<3t<1。因此X满足α=4,β=3的伽玛分布。

注2：伽玛分布不仅是等待时间的模型，也是许多非负连续型随机变量的模型。例如某些收入的分布可以用伽玛分布来建模，这是因为α,β提供了很大的灵活性，图1给出了几个伽玛概率密度函数。

图1

现在我们考虑伽玛分布的一个特例，即α=r/2，其中r是一个正数且β=2。对于一个连续型的随机变量，其pdf为

f (x) = {1 Γ (r / 2) 2 r / 2 x r / 2 - 1 e - x / 2 0 0 < x < \infty e l s e w h e r e

且mgf为

M (t) = (1 - 2 t) - r / 2, t < 12

那么称该变量满足卡方分布，任意这种形式的f(x)称为卡方pdf，卡方分布的均值与方差分别为μ=αβ=(r/2)2=r,σ2=αβ2=(r/2)22=2r，我们称参数r为卡方分布的*度。因为卡方分布在统计中扮演着重要角色且经常出现，所以为了简洁X是χ2意味着随机变量X满足*度为r的卡方分布。

例3：如果X满足pdf

f (x) = {14 x e - x / 2 0 0 < x < \infty e l s e w h e r e

那么X是χ2(4)，这里μ=4,σ2=8,M(t)=(1−2t)−2,t<12。

例4：如果X有mgfM(t)=(1−2t)−8,t<12，那么X是χ2(16)。

如果随机变量X是χ2(r)，那么c1<c2时我们有

P (c 1 < X < c 2) = P (X \leq c 2) - P (X \leq c 1)

这是因为P(X=c2)=0。为了计算概率，我们需要像

P (X \leq x) = \int x 0 1 Γ (r / 2) 2 r / 2 w r / 2 - 1 e - w / 2 d w

这样的值，这些值有表可供查询。

下面的结论之后还会用几次；因此我们用定理的形式给出。

定理1：令X满足χ2(r)分布，如果k>−r/2，那么E(Xk)存在且等于

E (X k) = 2 k Γ (r 2 + k) Γ (r 2), i f k > - r / 2

证明：注意

E (X k) = \int \infty 0 1 Γ (r 2) 2 r / 2 x (r / 2) + k - 1 e - x / 2 d x

变量替换u=x/2可得

E (X k) = \int \infty 0 1 Γ (r 2) 2 r / 2 - 1 2 (r / 2) + k - 1 u (r / 2) + k - 1 e - u d u

这就是要求的揭露。||

注意如果k是一个非负整数，那么k>−(r/2)总是为真，因此χ2分布的所有矩存在且k阶矩如定理所示。

例5：令X是χ2(10)，那么通过查表可得，

P (3.25 \leq X \leq 20.5) = P (X \leq 20.5) - P (X \leq 3.5) = 0.975 - 0.025 = 0.95

如果P(a<X)=0.05，那么P(X≤a)=0.95，通过查表可得a=18.3。

例6：令X满足α=r/2的伽玛分布，其中r是正整数且β>0。定义随机变量Y=2X/β，我们要求Y的pdf。现在Y的cdf为

G (y) = P (Y \leq y) = P (X \leq β y 2)

如果y≤0，那么G(y)=0；但是如果y>0，那么

G (y) = \int β y / 2 0 1 Γ (r / 2) β r / 2 x r / 2 - 1 e - x / β d x

因此Y的pdf为

g (y) = G' (y) = β / 2 Γ (r / 2) β r / 2 (β y / 2) r / 2 - 1 e - y / 2 = 1 Γ (r / 2) 2 r / 2 y r / 2 - 1 e - y / 2

即Y是χ2(r)。

伽玛分布最重要的一条性质是其加性。

定理2：令X1,…,Xn是独立随机变量，假设对于i=1,…,n，Xi满足Γ(αi,β)分布，令Y=Σni=1Xi，那么Y满足Γ(Σni=1αiβ)分布。

证明：利用独立性与伽玛分布的mgf，对于t<1/β我们有

M Y (t) = E [exp {t \sum i = 1 n X i}] = \prod i = 1 n E [exp {t X i}] = \prod i = 1 n (1 - β t) - α i = (1 - β t) - Σ n i = 1 α i

这就是Γ(Σni=1αi,β)分布的mgf。||

之后我们会用到χ2分布的一个性质，为了方便我们将结论以推论的形式给出，因为β=2,Σαi=Σri/2。

推论1：令X1,…,Xn是独立随机变量，对于i=1,…,n，假设Xi满足χ2(ri)分布，令Y=Σni=1Xi，那么Y满足χ2(Σni=1ri)分布。

最后在介绍一个重要的分布，即贝塔分布，它是由一对独立的Γ随机变量推导来的。令X1,X2是满足Γ分布的两个独立随机变量，其联合pdf为

h (x 1, x 2) = 1 Γ (α) Γ (β) x α - 1 1 x β - 1 2 e - x 1 - x 2, 0 < x 1 < \infty, 0 < x 2 < \infty

其余地方为零，其中α>0,β>0。令Y1=X1+X2且Y2=X1/(X1+X2)，我们将说明Y1,Y2是独立的。

空间是x1x2平面的第一象限，排除坐标轴上的点。那么

y 1 = u 1 (x 1, x 2) = x 1 + x 2 y 2 = u 2 (x 1, x 2) = x 1 x 1 + x 2

可以写成x1=y1y2,x2=y1(1−y2)，所以

J = ∣ ∣ ∣ y 2 1 - y 2 y 1 - y 1 ∣ ∣ ∣ = - y 1 ≢ 0

这个变换时一对一的且将映射到y1y2平面上的={(y1,y2):0<y1<∞,0<y2<1}，那么Y1,Y2的联合pdf为

g (y 1, y 2) = (y 1) 1 Γ (α) Γ (β) (y 1 y 2) α - 1 [y 1 (1 - y 2)] β - 1 e - y 1 = {y α - 1 2 (1 - y 2) β - 1 Γ (α) Γ (β) y α + β - 1 1 e - y 1 0 0 < y 1 < \infty, 0 < y 2 < 1 e l s e w h e r e

所以他们是独立的随机变量。Y2的边缘pdf为

g 2 (y 2) = y α - 1 2 (1 - y 2) β - 1 Γ (α) Γ (β) \int \infty 0 y α + β - 1 1 e - y 1 = {Γ (α + β) Γ (α) Γ (β) y α - 1 2 (1 - y 2) β - 1 0 0 < y 2 < 1 e l s e w h e r e 0 < y 1 < \infty d y 1

这个pdf就是参数为α,β的贝塔分布。因为g(y1,y2)≡g1(y1)g2(y2)，所以Y1的pdf一定为

g 1 (y 1) = {1 Γ (α + β) y α + β - 1 1 e - y 1 0 0 < y 1 < \infty e l s e w h e r e

这是参数值为α+β,1的伽玛分布。

很容易得出参数为α,β的贝塔分布其均值与方差分别为

μ = α α + β, σ 2 = α β (α + β + 1) (α + β) 2

最后这个例子中随机变量的分布是由伽玛随机变量变换推导出来的。

例7：(狄利克雷函分布)令X1,X2,…,Xk+1是独立随机变量，每个都满足β=1的伽玛分布，这些变量的联合pdf可能写成

h (x 1, x 2, \dots, x k + 1) = {\prod k + 1 i = 1 1 Γ (α i) x α i - 1 i e - x i 0 0 < x i < \infty e l s e w h e r e

令

Y i = X i X 1 + X 2 + \dots + X k + 1, i = 1, 2, \dots, k

且Yk+1=X1+X2+⋯+Xk+1表示k+1个新变量，相关变换将={(x1,…,xk+1):0<xi<∞,i=1,…,k+1} 映射到空间

 = {(y 1, \dots, y k, y k + 1) : 0 < y i, i = 1, \dots, k, y 1 + \dots + y k < 1, 0 < y k + 1 < \infty}

单值逆函数是x1=y1yk+1,…,xk=ykyk+1,xk+1=yk+1(1−y1−⋯−yk)，使得雅克比为

J = ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ y k + 1 0 ⋮ 0 - y k + 1 0 y k + 1 ⋮ 0 - y k + 1 \dots \dots \dots \dots 00 ⋮ y k + 1 - y k + 1 y 1 y 2 ⋮ y k (1 - y 1 - \dots - y k) ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ ∣ = y k k + 1

因此Y1,…,Yk,Yk+1的联合pdf为

y α 1 + \dots + α k + 1 - 1 k + 1 y α 1 - 1 1 \dots y α k - 1 k (1 - y 1 - \dots - y k) α k + 1 - 1 e - y k + 1 Γ (α 1) \dots Γ (α k) Γ (α k + 1)

其余地方为零，这里(y1,…,yk,yk+1)∈。Y1,…,Yk 的联合pdf为

g (y 1, \dots, y k) = Γ (α 1 + \dots + α k + 1) Γ (α 1) \dots Γ (α k + 1) y α 1 - 1 1 \dots y α k - 1 k (1 - y 1 - \dots - y k) α k + 1 - 1

0<yi,i=1,…,k,y1+⋯+yk<1，函数g在其他地方等于零。有这种联合pdf形式的随机变量Y1,…,Yk 有狄利克雷pdf，而且从Y1,…,Yk,Yk+1的联合pdf 可以看出Yk+1满足参数为α1+⋯+αk+αk+1,β=1的伽玛分布，Yk+1与Y1,Y2,…,Yk无关。

漫步数理统计二十四——伽玛、卡方与贝塔分布

相关推荐