稀疏贝叶斯学习(SBL)算法过程推导
【直接复制word中的公式格式会出问题,为了方便,公式部分就以截图形式呈现】
首先推导贝叶斯公式:
考虑事件A和事件B:
由以上两式,即得贝叶斯公式:
求解的问题模型为:
由贝叶斯公式可得:
要估计ω可由arg p(ω|t)求得
假定ϵ符合均值为0,方差为 的高斯分布,则可得出t符合均值为Φω,方差为 的高斯分布,即
假定ω由超参数γ产生,并符合均值为0,方差为 的高斯分布,即
由全概率公式可得:
积分部分相当于两个高斯函数的卷积,仍为高斯函数。将指数部分看作一个整体,令:
L是关于ω的二次项。对于高斯函数有以下性质:
式中A是矩阵,b是向量,C是常数。可将L表达成 的样式,f中不含变量ω 。我们可以将满足Aω+b=0的ω代入其中,即得到f。为求ω,可通过对L求导,求其一阶零点得:
将ω 代入L中,得到,
因此对全概率公式进行积分后得
由此可以看出p(t;γ) 是一个高斯分布,其均值为0,协方差矩阵Σt 满足:
可通过下面矩阵求逆公式得到:
求得:
后验概率推导:
根据贝叶斯公式,有
利用前面的结果,分母部分已求得。分子部分是两个高斯概率密度函数的乘积,其结果仍为高斯分布,再与分母部分相除,最终还是为高斯分布。将前面求得的结果分别代入, 忽略常数部分,可得:
其均值为指数部分对ω的一阶导数零点,协方差矩阵的逆为指数部分对ω的二阶导数。可令:
对ω 求导,得
对ω 求二阶导,得:
令 得,
且
M>>N,Σω M阶,Σt N阶,Σω 的逆的复杂度远远高于Σt 的逆的复杂度,可运用矩阵和求逆公式将 转化为求 ,结果如下:
最后通过EM算法更新超参数:
完毕