3.3. Bayesian Linear Regression(PRML 系列)

线性回归回顾

一开始使用最小二乘估计从概率角度考虑对应MLE(极大似然拟合),容易过拟合，引入了Regularized LSE（有两种：Lasso及Ridge）从概率角度来看，属于最大后验回归。对于
$p(w)$p(w)如果属于高斯分布，则为Ridge,如果属于Laplace，则对应Lasso回归。
不论是最小二乘估计还是正则化的最小二乘估计，都是属于频率派，即认为$w$w是未知常数，属于点估计。


贝叶斯估计
要求出后验概率（并不是优化问题）
$主要有两个问题：inference :求posterior(w),prediction$主要有两个问题：inference:求posterior(w),prediction

3.3.1 Parameter distribution

在贝叶斯统计中，如果后验分布与先验分布属于同类，则先验分布与后验分布被称为共轭分布，而先验分布被称为似然函数的共轭先验。即p(w)先验分布与似然分布$p(t|x,w,\beta)$p(t∣x,w,β)有相同的分布