线性回归的地位

线性回归–最小二乘法估计与极大似然法则

线性回归模型

当前目标 是 找到 模型$f(w)=w^Tx$f(w)=wTx，也就是求出参数 w。
下面介绍 用 最小二乘估计 和 极大似然 两种方法（其实二者本质上是一样的）

最小二乘估计，极大似然 ，及二者的关系（用频率派的角度理解最小二乘）

最小二乘估计

最小二乘估计的思路是：

我们找到的这个函数，于已有样本集的误差平方和 最小

极大似然

极大似然的思路是：
原本我们的样本x都是由模型$f(w)$f(w)生成的，但是在外界干扰的条件下，模型$f(w)$f(w)对x的输出(即y)会有所改变。
假设这个干扰 服从高斯分布 均值为0，方差为 $\sigma$σ


即最终得到原本的y 也服从 高斯分布。
即

最小二乘估计 与 极大似然 的关系

事实上，最小二乘估计 就是 干扰服从高斯分布（均值为0，方差为 $\sigma$σ）的极大似然法则

线性回归–正则化

方法正则化

求模型即求参数w, 根据上图，想求w即要求 $(x^Tx)^{-1}$(xTx)−1, 但是 $(x^Tx)$(xTx)并不一定可逆。
数学上$(x^Tx)$(xTx)不可逆，模型直观上就是过拟合。

岭回归 l2 正则化 （频率派角度）

从贝叶斯派的角度 理解 L2正则化

正则化中 频率派和贝叶斯派 是一样的。

综上所述