机器学习之 线性回归（ L1正则化（Lasso回归）+ L2正则化（Ridge回归））（五）

主要参考：https://www.cnblogs.com/pinard/p/6004041.html

想看具体的看参考链接，这里主要是重点公式记载。

线性回归是最常见的，之前再梯度下降和最小二乘法里面也都是以线性回归为例的。

模型：

矩阵形式

一般线性回归我们用均方误差作为损失函数。

损失函数的代数法表示如下：

损失函数的矩阵形式：

对于线性回归的损失函数，我们常用的有两种方法来求损失函数最小化时候的θθ参数：一种是梯度下降法，一种是最小二乘法。
梯度下降法：

最小二乘法：

线性回归的推广：多项式回归

线性回归里面的x都是一次方，多项式回归里面x可能不是一次方，但是可以转化为一次方转化为线性回归。

线性回归的推广：广义线性回归

这儿的广义线性回归则是特征y不符合条件，转化为符合条件的y从而转化为线性回归。

线性回归的正则化

为了防止模型的过拟合，我们在建立线性模型的时候经常需要加入正则化项。一般有L1正则化和L2正则化。

L1正则化（Lasso回归）

线性回归的L1正则化通常称为Lasso回归，它和一般线性回归的区别是在损失函数上增加了一个L1正则化的项，L1正则化的项有一个常数系数αα来调节损失函数的均方差项和正则化项的权重，具体Lasso回归的损失函数表达式如下：　　

　Lasso回归可以使得一些特征的系数变小，甚至还是一些绝对值较小的系数直接变为0。增强模型的泛化能力。
Lasso回归的求解办法一般有坐标轴下降法（coordinate descent）和最小角回归法（ Least Angle Regression），由于它们比较复杂，会单独介绍：。

L2正则化（Ridge回归）

线性回归的L2正则化通常称为Ridge回归，它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和Lasso回归的区别是Ridge回归的正则化项是L2范数，而Lasso回归的正则化项是L1范数。具体Ridge回归的损失函数表达式如下：
　
Ridge回归在不抛弃任何一个特征的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但和Lasso回归比，这会使得模型的特征留的特别多，模型解释性差。

Ridge回归的求解比较简单，一般用最小二乘法。