贝叶斯超参数共轭后验的证明

1. 结论

对于服从正态分布的变量 $x$

x \sim N (μ, σ^{2})

其中

μ, σ^{2}

为超参数

若设 $μ | σ^{2}$ 与 $σ^{2}$ 的先验分布为：

π (μ | σ^{2}) \sim N (η, \frac{σ^{2}}{T})

π (σ^{2}) \sim I n v - χ^{2} (v_{0}, c_{0}^{2})

则其后验分布为：

p (μ | x, σ^{2}) \sim N (\frac{n \hat{μ} + T η}{n + T}, \frac{σ^{2}}{n + T})

p (σ^{2} | x) \sim I n v - χ^{2} (v^{*}, c^{2 *})

其中：

$v^{*} = v_{0} + n$
$c^{2 *} = \frac{1}{v^{*}} (n - 1) s^{2} + v_{0} {c_{0}}^{2} + \frac{n T}{n + T} {(\hat{μ} - η)}^{2}$

贝叶斯超参数共轭后验的证明
由上述过程，可以推出 $μ | σ^{2}$ 的后验分布为正态分布

p (μ | x, σ^{2}) \sim N (\frac{n \hat{μ} + T η}{n + T}, \frac{σ^{2}}{n + T})

贝叶斯超参数共轭后验的证明
由上述过程，可以推出 $σ^{2}$ 的后验分布为 $I n v - χ^{2}$ 分布

p (σ^{2} | x) \sim I n v - χ^{2} (v^{*}, c^{2 *})

其中：

$v^{*} = v_{0} + n$
$c^{2 *} = \frac{1}{v^{*}} (n - 1) s^{2} + v_{0} {c_{0}}^{2} + \frac{n T}{n + T} {(\hat{μ} - η)}^{2}$