最小二乘，极大似然和最大后验估计的关系

problem：曲线拟合中最基本和最常用的是直线拟合。设x和y之间的函数关系由直线方程y=α+βx$y=\alpha +\beta x$确定，α$\alpha$和β$\beta$分别是截距和斜率。N组数据D={(xi,yi),i=1,2,...,N}$D=\{(x_i,y_i),i=1,2,...,N\}$

a)最小二乘估计参数（Least square estimation）:残差平方和χ2=∑i=1Nωi[yi−(α+βxi)]2${\chi }^2=\sum _{i=1}^N{\omega }_i{[y_i-(\alpha +\beta x_i)]}^2$最小，求α,β$\alpha ,\beta$的最小二乘估计最优值。

b)最大似然估计参数 (maximum likelihood estimation)：引入残差项ξ$\xi$即y=α+βx+ξ$y=\alpha +\beta x+\xi$ ，假设ξi∼N(0,σ2)${\xi }_i\sim N(0,{\sigma }^2)$，给出似然函数并求出和的最大似然估计最优值。

c)最大后验估计参数(maximum a posterior estimation) 假设ξi∼N(0,σ2)${\xi }_i\sim N(0,{\sigma }^2)$，此外对参数有先验信息α,β∼N(0,τ2)$\alpha ,\beta \sim N(0,{\tau }^2)$，求出α,β$\alpha ,\beta$的最大后验估计最优值。

a:

解得：

b:建立似然函数L，求似然函数的极值

c:在有先验信息时，似然函数变为如下：

通过上述推导，最小二乘估计是加权最小二乘估计的权重等于1时的特殊情况；

当残差满足正态分布时，极大似然估计的结果和最小二乘的结果相同；

极大似然估计是最大后验估计的先验概率p(θ)=1$p(\theta )=1$特殊形式。