在上一篇中，我们介绍了机器学习任务的一般步骤。现在我们对具体任务进行讲解

一、模型

给定训练数据集D={xi,yi}Ni=1$\mathit{\text{D}}={\left\{{\mathbf{x}}_i,y_i\right\}}_{i=1}^N$ ,其中y∈R$y\in \mathbb{R}$。回归学习一个从输入x$\mathbf{x}$到输出y$y$的映射f$f$。当增加新的数据集时， 用学习到的映射f$f$对其进行预测y^=f(x)$\hat{y}=f(\mathbf{x})$。若是学习到的这个映射f$f$是一个线性函数：

　　　　　　　　　　　　　　　　y^=f(x|w)=wTx$\hat{y}=f(\mathbf{x}|\mathbf{w})={\mathbf{w}}^{\mathbf{T}}\mathbf{x}$

则我们称之为线性回归模型。

1.目标函数

前面我们已经提过，目标函数通常包括两项：损失函数和正则项

其中，我们的L2损失就使用到残差平方和（residual sum of squares,RSS):

　　　　　　　　　　　RSS=∑Ni=1(yi−yi^)=∑Ni=1(yi−wTxi)2$RSS=\sum _{i=1}^N(y_i-\widehat{y_i})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2$
　　　　　　　　　　　
（1）、最小二乘线性回归（Ordinary Least Square，OLS）：　
　　　　由于线性模型比较简单，所以当R(θ)=0$R(\theta )=0$时，目标函数为
　　　　
　　　　　　　　　　　J(w)=∑Ni=1L(yi,yi^)=∑Ni=1(yi−yi^)=∑Ni=1(yi−wTxi)2$J(\mathbf{w})=\sum _{i=1}^{N}L(y_i,\widehat{y_i})=\sum _{i=1}^N(y_i-\widehat{y_i})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2$　

（2）、岭回归（Ridge Regression）：
　　　　当正则项为L2时，即R(θ)=λ||w||2$R(\theta )=\lambda ||\mathbf{w}|{|}^2$，目标函数为
　　　　
　　　　　　　　　　　J(w)=∑Ni=1(yi−wTxi)2+λ||w||2$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda ||\mathbf{w}|{|}^2$　　
　　　　　　　　　　　
（3）、Lasso模型：
　　　　当正则项为L1时，即R(θ)=λ|w|$R(\theta )=\lambda |\mathbf{w}|$，目标函数为
　　　　
　　　　　　　　　　　J(w)=∑Ni=1(yi−wTxi)2+λ|w|$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda |\mathbf{w}|$
　　　　　　　　　　　

2.概率解释

（１）、最小二乘（线性）回归等价于极大似然估计
假设y=f(x)+ε=wTx+ε$y=f(x)+\epsilon ={\mathbf{w}}^{\mathbf{T}}\mathbf{x}+\epsilon$，其中ε$\epsilon$为线性预测值与真值之间的残差，我们通常假设这个残差服从高斯分布，ε∼N(0,σ2)$\epsilon \sim N(0,{\sigma }^2)$.因此线性回归可以写成：

　　　　　　　　　　　　　　p(y|x,θ)∼N(y|wTx,σ2)$p(y|\mathbf{x},\theta )\sim N(y|{\mathbf{w}}^{\mathbf{T}}\mathbf{x},{\sigma }^2)$，其中θ=(w,σ2)$\theta =(\mathbf{w},{\sigma }^2)$
　　　　　　　　　　　　　　
我们复习下极大似然估计（Maximize Likelihood Estimator,MLE）的定义：　

　　　　　　　　　　　　　　θ^=argmaxθlogp(D|θ)$\hat{\theta }=\underset{\theta }{argmax}\log p(D|\theta )$
其中（log）似然函数为：

　　　　　　　　　　　　　　l(θ)=logp(D|θ)=∑Ni=1logp(yi|xi,θ)$l(\theta )=\log p(D|\theta )=\sum _{i=1}^N\log p(y_i|x_i,\theta )$ 　　
　　　　　　　　　　　　　　
表示在参数为θ$\theta$的情况下，数据D={xi,yi}Ni=1$\mathit{\text{D}}={\left\{{\mathbf{x}}_i,y_i\right\}}_{i=1}^N$出现的概率。极大似然就是选择数据出现概率最大的参数。
线性回归法MLE：　

　　　　　　　　　p(yi|xi,w,σ2)=N(yi|wTxi,σ2)=12π√σexp(−12σ2((yi−wTxi)2))$p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)=N(y_i|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i,{\sigma }^2)=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}((y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2))$　
　　　　　　　　　
因为OLS的似然函数为：　

　　　　　　　　　　　　　　l(θ)=logp(D|θ)=∑Ni=1logp(yi|xi,θ)$l(\theta )=\log p(D|\theta )=\sum _{i=1}^N\log p(y_i|x_i,\theta )$ 　　
　　　　　　　　　　　　　　
又因为极大似然可等价地写成极小负log似然损失（negative log likelihood，NLL）：　

　　　　　　　　　　　　　　NLL(θ)=−∑Ni=1logp(yi|xi,θ)$NLL(\theta )=-\sum _{i=1}^N\log p(y_i|x_i,\theta )$
　　　　　　　　　　　　　　　　　=−∑Ni=1log[12π√σexp(−12σ2((yi−wTxi)2))]$=-\sum _{i=1}^N\log [\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{1}{2{\sigma }^2}((y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2))]$
　　　　　　　　　　　　　　　　　=N2log(2πσ2)+12σ2∑Ni=1(yi−wTxi)2$=\frac{N}{2}\log (2\pi {\sigma }^2)+\frac{1}{2{\sigma }^2}\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2$　　
　　　　　　　　　　　　　　　　　
最大化似然公式L(θ)相当于最小化NLL(θ)∼∑Ni=1(yi−wTxi)2$NLL(\theta )\sim \sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i{)}^2$ 等价于最小二乘回归J(w)$J(\mathbf{w})$

（2）、正则回归等价于贝叶斯分布
假设残差分布ε∼N(0,σ2)$\epsilon \sim N(0,{\sigma }^2)$，线性回归可以写成　

　　　　　　　　　　　　　　p(y|x,θ)∼N(y|wTx,σ2)$p(y|\mathbf{x},\theta )\sim N(y|{\mathbf{w}}^{\mathbf{T}}\mathbf{x},{\sigma }^2)$
　　　　　　　　　　　　　　p(yi|xi,w,σ2)=N(yi|wTxi,σ2IN)∝exp(−12σ2[(y−Xw)T(y−Xw)])$p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)=N(y_i|{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_i,{\sigma }^2{\mathbf{I}}_N)\propto exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})])$　
　　　　　　　　　　　　　　
ａ、假设w$\mathbf{w}$的先验分布为高斯分布 w∼N(0,τ2)$\mathbf{w}\sim N(0,{\tau }^2)$　

所以　　　　　　　　　　　　p(w)=∏Dj=1N(wj|0,τ2)∝exp(−12τ2∑Dj=1w2j)=exp(−12τ2[wTw])$p(\mathbf{w})=\prod _{j=1}^{D}N({\mathbf{w}}_j|0,{\tau }^2)\propto exp(-\frac{1}{2{\tau }^2}\sum _{j=1}^D{\mathbf{w}}_j^2)=exp(-\frac{1}{2{\tau }^2}[{\mathbf{w}}^T\mathbf{w}])$

其中1/τ2$1/{\tau }^2$控制先验的强度
根据贝叶斯公式公式，得到参数的后验分布为　

　　　　　　　　　　　　　　p(w|X,y,σ2)∝p(yi|xi,w,σ2)p(w)$p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)\propto p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)p(\mathbf{w})$
　　　　　　　　　　　　　　　　　　　　　=exp(−12σ2[(y−Xw)T(y−Xw)]−12τ2[wTw])$=exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})]-\frac{1}{2{\tau }^2}[{\mathbf{w}}^T\mathbf{w}])$　
　　　　　　　　　　　　　　　　　　　　　
为方便计算，取对数logp(w|X,y,σ2)$\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大后验估计（MAP）等价于最小目标函数　

　　　　　　　　　　　　　　J(w)=(y−Xw)T(y−Xw)+σ2τ2wTw$J(\mathbf{w})=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})+\frac{{\sigma }^2}{{\tau }^2}{\mathbf{w}}^T\mathbf{w}$　
　　　　　　　　　　　　　　
对比下岭回归的目标函数　　

　　　　　　　　　　　　　　J(w)=∑Ni=1(yi−wTxi)2+λ||w||2$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda ||\mathbf{w}|{|}^2$　
b、假设w$\mathbf{w}$的先验分布为Laplace分布 w∼N(0,b)$\mathbf{w}\sim N(0,b)$　

所以　　　　　　　　　　　　p(w)=∏Dj=1N(wj|μ,b)=12bexp(|w−μ|b)$p(\mathbf{w})=\prod _{j=1}^{D}N({\mathbf{w}}_j|\mu ,b)=\frac{1}{2b}exp(\frac{|\mathbf{w}-\mu |}{b})$

　　　　　　　　　　　　　　　　　=∏Dj=1N(wj|0,b)∝exp(|w|b)$=\prod _{j=1}^{D}N({\mathbf{w}}_j|0,b)\propto exp(\frac{|\mathbf{w}|}{b})$
　　　　　　　　　　　　　　　　　
根据贝叶斯公式公式，得到参数的后验分布为　

　　　　　　　　　　　　　p(w|X,y,σ2)∝p(yi|xi,w,σ2)p(w)$p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)\propto p(y_i|{\mathbf{x}}_i,\mathbf{w},{\sigma }^2)p(\mathbf{w})$
　　　　　　　　　　　　　　　　　　　　　=exp(−12σ2[(y−Xw)T(y−Xw)]−1b|w|)$=exp(-\frac{1}{2{\sigma }^2}[(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})]-\frac{1}{b}|\mathbf{w}|)$
　　　　　　　　　　　　　　　　　　　　
为方便计算，取对数logp(w|X,y,σ2)$\log p(\mathbf{w}|\mathbf{X},\mathbf{y},{\sigma }^2)$ 得到最大后验估计（MAP）等价于最小目标函数　

　　　　　　　　　　　　　　　J(w)=(y−Xw)T(y−Xw)+2σ2b|w|$J(\mathbf{w})=(\mathbf{y}-\mathbf{X}\mathbf{w}{)}^T(\mathbf{y}-\mathbf{X}\mathbf{w})+\frac{2{\sigma }^2}{b}|\mathbf{w}|$　
　　　　　　　　　　　　　　
对比下Lasso回归的目标函数　　

　　　　　　　　　　　　　J(w)=∑Ni=1(yi−wTxi)2+λ|w|$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2+\lambda |\mathbf{w}|$

二、优化求解

优化求解的目的是根据训练数据求目标函数取极小值的参数

　　　　　　　　　　　　　　　　　w^=argminwJ(w)$\hat{\mathbf{w}}=\underset{\mathbf{w}}{argmin}J(\mathbf{w})$
目标函数求极小值的方法：

　　一阶导数为0 ：∂J(w)∂w=0$\frac{\mathrm{\partial }J(\mathbf{w})}{\mathrm{\partial }\mathbf{w}}=0$
　　二阶导数>0：∂2J(w)∂w2>0$\frac{{\mathrm{\partial }}^{2}J(\mathbf{w})}{\mathrm{\partial }{\mathbf{w}}^2}>0$
　　

1.OLS的优化求解

　　　　　　　　　　　　J(w)=∑Ni=1(yi−wTxi)2=(y−wX)T(y−wX)$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2=(\mathbf{y}\mathbf{-}\mathbf{w}\mathbf{X}{)}^T(\mathbf{y}\mathbf{-}\mathbf{w}\mathbf{X})$
　　　　　　　　　　　　
　　我们的目标是求解w$\mathbf{w}$，所以只取关于w$\mathbf{w}$的部分，得到　
　　
　　　　　　　　　　　J(w)=wT(XTX)w−2wT(Xy)$J(\mathbf{w})={\mathbf{w}}^{\mathbf{T}}\mathbf{(}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{)}\mathbf{w}\mathbf{-}\mathbf{2}{\mathbf{w}}^{\mathbf{T}}\mathbf{(}\mathbf{X}\mathbf{y}\mathbf{)}$
　　通过求导可得：
　　　　　　　　　　　∂J(w)∂w=2XTX−2XTy=0$\frac{\mathrm{\partial }J(\mathbf{w})}{\mathrm{\partial }\mathbf{w}}=\mathbf{2}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{-}\mathbf{2}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}=0$
　　　　　　　
　　　　　　　　　　　XTXw=XTy${\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{w}\mathbf{=}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$
　　　　　　　
　　　　　　　　　　　所以：w^OLS=(XTX)−1XTy${\hat{\mathbf{w}}}_{OLS}=\mathbf{(}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}{\mathbf{)}}^{\mathbf{-}\mathbf{1}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$
　　　　　　　　　　　
　　这个式子可以通过奇异值分解（singular value decomposition，SVD）求解。
　　下面是SVD的表达：
　　　　　对X$X$进行奇异值分解：X=UΣVT$\mathit{X}\mathbf{=}\mathit{U}\mathbf{\Sigma }{\mathit{V}}^{\mathit{T}}$
　　　　　其中：UTU=IN${\mathbf{U}}^{\mathbf{T}}\mathbf{U}={\mathbf{I}}_N$ 为列正交
　　　　　VVT=VTV=TD$\mathbf{V}{\mathbf{V}}^{\mathbf{T}}={\mathit{V}}^{\mathit{T}}\mathit{V}={\mathbf{T}}_D$为行列均正交
　　　　　所以XT=VΣUT${\mathbf{X}}^{\mathbf{T}}\mathbf{=}\mathbf{V}\mathbf{\Sigma }{\mathbf{U}}^{\mathbf{T}}$
　　　　　
　　所以w^OLS=(XTX)−1XTy${\hat{\mathbf{w}}}_{OLS}=\mathbf{(}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}{\mathbf{)}}^{\mathbf{-}\mathbf{1}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$
　　　　　　　＝(Σ2)−1VΣUTy$＝\mathbf{(}{\mathbf{\Sigma }}^{\mathbf{2}}{\mathbf{)}}^{\mathbf{-}\mathbf{1}}\mathbf{V}\mathbf{\Sigma }{\mathbf{U}}^{\mathbf{T}}\mathbf{y}$
　　　　　　　＝VΣ−1UTy$＝\mathbf{V}{\mathbf{\Sigma }}^{\mathbf{-}\mathbf{1}}{\mathbf{U}}^{\mathbf{T}}\mathbf{y}$
　　　　　　　
　　OLS除了使用SVD求解外，还可以使用梯度下降法求解，在上一章中，我们看到梯度下降法的基本步骤：

　　　　a.先确定学习率η$\eta$，再给定初始值 θ0${\theta }^0$
　　　　b.计算目标函数在当前参数值的梯度：▽θ=∂J(θt)∂θ${▽}_{\theta }=\frac{\mathrm{\partial }J({\theta }^t)}{\mathrm{\partial }\theta }$
　　　　c.更新θ$\theta$,使得J(θ)$J(\theta )$越来越小：
　　　　　　 θt+1=θt−η▽θ${\theta }^{t+1}={\theta }^t-\eta {▽}_{\theta }$
　　　　　　
　　对于我们的OLS函数：J(w)=∑Ni=1(yi−wTxi)2$J(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}^{\mathbf{T}}{\mathbf{x}}_{\mathbf{i}}{)}^2$
　　则梯度为：
　　　　　　　　　　　　g(w)=∂J(w)∂w=∑Ni=12(f(xi)−yi)xi$g(w)=\frac{\mathrm{\partial }J(\mathbf{w})}{\mathrm{\partial }\mathbf{w}}=\sum _{i=1}^{N}2(f({\mathbf{x}}_i)-y_i){\mathbf{x}}_i$
　　所以：
　　　　　　　　　　　　wt+1=wt−η▽w${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\eta {▽}_{\mathbf{w}}$
　　　　　　　　　　　　　　　=wt−2η∑Ni=1(f(xi)−yi)xi$={\mathbf{w}}^t-2\eta \sum _{i=1}^N(f({\mathbf{x}}_i)-y_i){\mathbf{x}}_i$
　　如此这样一直迭代下去。

2.岭回归的优化求解

　　岭回归的目标函数与最小二乘（OLS）只是相差一个正则项（λ||w||2$\lambda ||\mathbf{w}|{|}^2$）。所以类似的求解可得：
　　
　　　　　　　　　　　　∂J(w)∂w=2XTX−2XTy−2λwT=0$\frac{\mathrm{\partial }J(\mathbf{w})}{\mathrm{\partial }\mathbf{w}}=\mathbf{2}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{-}\mathbf{2}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}-2\lambda {\mathbf{w}}^T=0$
　　　　　　　　　　　　
　　　　　　　　　　　　w^rigde=(XTX+λID)−1XTy${\hat{\mathbf{w}}}_{rigde}=\mathbf{(}{\mathbf{X}}^{\mathbf{T}}\mathbf{X}\mathbf{+}\lambda {\mathbf{I}}_{\mathbf{D}}{\mathbf{)}}^{\mathbf{-}\mathbf{1}}{\mathbf{X}}^{\mathbf{T}}\mathbf{y}$　
　　　　　　　　　　　　

3.lasso的优化求解

　　lasso的目标函数是：J(w,λ)=RSS(w)+λ||w||1$J(\mathbf{w},\lambda )=RSS(\mathbf{w})+\lambda ||\mathbf{w}|{|}_1$，但是该目标函数的正则项在wj=0${\mathbf{w}}_j=0$不可导，所以这里我们不能用梯度SVD求解，也不能用梯度下降法求解。
　　所以我们引入坐标轴下降法。
　　a、在使用坐标下降法之前，我们想了解下次微分的概念：
　　为了处理不平滑的函数，扩展导数的表示，定义一个（凸）函数f$f$在x0$x_0$处的次梯度为一个标量c，使得：
　　
　　　　　　　　　　　　　　f(x)−f(x0)≥c(x−x0)$f(x)-f(x_0)\ge c(x-x_0)$
　　如下图：

　　定义区间[a,b]$[a,b]$的子梯度集合为：
　　
　　　　　　　　　　　　　　a=limx→x−0f(x)−f(x0)x−x0,b=limx→x+0f(x)−f(x0)x−x0$a=\underset{x\to x_0^{-}}{lim}\frac{f(x)-f(x_0)}{x-x_0},b=\underset{x\to x_0^{+}}{lim}\frac{f(x)-f(x_0)}{x-x_0}$　
　　　　　　　　　　　　　　
　　所有次梯度的区间称为函数f$f$在x0$x_0$处的次微分(subdefferential)，用∂f(x)|x0$\mathrm{\partial }f(x){|}_{x_0}$表示
　　例如：绝对值函数f(x)=|x|$f(x)=|x|$，其梯度为
　　　　　　　　　　　　　　∂f(x)=⎧⎩⎨{−1}[−1,+1]{+1} if x<0 if x=0 if x>0$\mathrm{\partial }f(x)=\{\begin{array}{ll}\{-1\}& \text{ if }x<0\\ [-1,+1]& \text{ if }x=0\\ \{+1\}& \text{ if }x>0\end{array}$　
　　b、对lasso求导
　　　　目标函数：J(w,λ)=RSS(w)=∑Ni=1(yi−wTixi)2+λ||w||1$J(\mathbf{w},\lambda )=RSS(\mathbf{w})=\sum _{i=1}^N(y_i-{\mathbf{w}}_i^T{\mathbf{x}}_i{)}^2+\lambda ||\mathbf{w}|{|}_1$
　　　　对wj$w_j$求导：
　　　　　　　　　　　　　　∂∂wjRSS(w)=∂∂wj∑Ni=1(yi−(wT−jxi,−j+wjxij))2$\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_j}RSS(\mathbf{w})=\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_j}\sum _{i=1}^N(y_i-({\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j}+w_j{x}_{ij}){)}^2$
　　　　　　　　　　　　　　　　　　　　=−2∑Ni=1(yi−wT−jxi,−j−wjxij)xij$=-2\sum _{i=1}^N(y_i-{\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j}-w_j{x}_{ij})x_{ij}$
　　　　　　　　　　　　　　　　　　　　=2∑Ni=1wjx2ij−2∑Ni−1xij(yi−wT−jxi,−j)$=2\sum _{i=1}^N{w}_j{x}_{ij}^2-2\sum _{i-1}^N{x}_{ij}(y_i-{\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j})$
　　　　　　　　　　　　　　　　　　　　　
　　令：aj=2∑Ni=1wjx2ij$a_j=2\sum _{i=1}^N{w}_j{x}_{ij}^2$，cj=2∑Ni−1xij(yi−wT−jxi,−j)$c_j=2\sum _{i-1}^N{x}_{ij}(y_i-{\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j})$，其中(yi−wT−jxi,−j)$(y_i-{\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j})$是利用D−j$D-j$维特征得到的预测的残差，则cj$c_j$为第j$j$维特征与残差的相关性之和
　　
　　故∂∂wjRSS(w)=ajwj−cj$\frac{\mathrm{\partial }}{\mathrm{\partial }{w}_j}RSS(\mathbf{w})=a_j{w}_j-c_j$
　　
　　那么∂wjJ(w,λ)=(ajwj−cj)+λ∂wj||w||1${\mathrm{\partial }}_{w_j}J(w,\lambda )=(a_j{w}_j-c_j)+\lambda {\mathrm{\partial }}_{w_j}||\mathbf{w}|{|}_1$=⎧⎩⎨⎪⎪{ajwj−cj−λ}{−c−λ,−cj+λ}{ajwj−cj+λ} if wj<0 if wj=0 if wj>0$=\{\begin{array}{ll}\{a_j{w}_j-c_j-\lambda \}& \text{ if }{w}_j<0\\ \{-c-\lambda ,-c_j+\lambda \}& \text{ if }{w}_j=0\\ \{a_j{w}_j-c_j+\lambda \}& \text{ if }{w}_j>0\end{array}$
　　
　　当∂wjJ(w,λ)=0${\mathrm{\partial }}_{w_j}J(w,\lambda )=0$时最优解　
　　
　　所以 w^j(cj)=⎧⎩⎨⎪⎪(cj+λ)/aj0(cj−λ)/aj if cj<−λ if cj∈[λ,λ] if cj>λ${\hat{w}}_j(c_j)=\{\begin{array}{ll}(c_j+\lambda )/a_j& \text{ if }{c}_j<-\lambda \\ 0& \text{ if }{c}_j\in [\lambda ,\lambda ]\\ (c_j-\lambda )/a_j& \text{ if }{c}_j>\lambda \end{array}$
　　
　　根据cj$c_j$的不同，∂wjJ(w,λ)=0${\mathrm{\partial }}_{w_j}J(w,\lambda )=0$有以三种情况:
　　
　　c、坐标轴下降法
　　
　　　　　1）、预计算aj=2∑Ni=1x2j$a_j=2\sum _{i=1}^N{x}_j^2$
　　　　　2）、初始化参数w$\mathbf{w}$(全0或者随机)
　　　　　3）、循环直到收敛：
　　　　　　　　–for j = 0,1,2…D
　　　　　　　　　　　·计算cj=2∑Ni−1xij(yi−wT−jxi,−j)$c_j=2\sum _{i-1}^N{x}_{ij}(y_i-{\mathbf{w}}_{-j}^T{\mathbf{x}}_{i,-j})$
　　　　　　　　　　　·更新wj:w^j(cj)=⎧⎩⎨⎪⎪(cj+λ)/aj0(cj−λ)/aj if cj<−λ if cj∈[λ,λ] if cj>λ$w_j:{\hat{w}}_j(c_j)=\{\begin{array}{ll}(c_j+\lambda )/a_j& \text{ if }{c}_j<-\lambda \\ 0& \text{ if }{c}_j\in [\lambda ,\lambda ]\\ (c_j-\lambda )/a_j& \text{ if }{c}_j>\lambda \end{array}$
　　　　　　　　–选择变化幅度最大的维度进行更新
　　　
　　坐标轴下降法的特点：
　　　　· 为了找到一个函数的局部极小值，在每次迭代中可以在当前点处沿一个坐标方向进行一维搜索
　　　　·整个过程中循环使用不同的坐标方向。一个周期的一维搜索迭代过程相当于一个梯度迭代
　　　　
　　坐标轴下降法需要注意是：
　　　　· 梯度下降方法是利用目标函数的导数（梯度）来确定搜索方向的，而该梯度方向可能不与任何坐标轴平行。
　　　　·而坐标轴下降法是利用当前坐标系统进行搜索，不需要求目标函数的导数，只按照某一坐标方向进行搜索最小值。（在稀疏矩阵上的计算速度非常快，同时也是Lasso回归最快的解法）
　　　　

三、模型评估与模型选择

　　当模型训练好后，需要在校验集上采用一些度量准则检查模型预测的效果，可通过两个步骤去实现：
　　　1）校验集的划分（train_test_split、交叉验证）
　　　2）评价指标（sklearn.metrics）

　　在选择预测性能最好的模型过程中，我们还需要对模型中的一些超参数进行设置，如线性回归模型中的正则参数λ，以及例如OLS中的特征的数目等参数去选择模型。但是我们去确定参数时，是通过给定一定范围的数值作为输入的，该参数的搜索范围我们一般在Scikitlearn中使用的是网格搜索（GridSearch），且在Scikitlearn中，已经将交叉验证与网格搜索合并为一个函数：sklearn.model_selection.GridSearchCV。
　　在Scikitlearn中的modelselection模块提供的模型选择功能中，对于线性模型，留一交叉验证（N折交叉验证，亦称为leave-oneout cross-validation，LOOCV）有更简便的计算方式，因此Scikitlearn还提供了RidgeCV类和LassoCV类实现了这种方式。
　　
　　RidgeCV中超参数λ用alpha表示，RidgeCV(alphas=(0.1,1.0,10.0),
　　fit_intercept=True,normalize=False,scoring=None,cv=None,gcv_mode=None,store_cv_values=False)
　　
　　LassoCV的使用与RidgeCV类似，Scikitlearn还提供一个与Lasso类似的LARS（least angle regression，最小角回归），二者仅仅是优化方法不同，目标函数相同。有一点需要注意的是当数据集中特征维数很多且存在共线性时，LassoCV更合适。
　　
　　模型的评价指标，在上一章中，我们已经确定了有如下几种准则：
　　　（1）、开平均方误差（rooted mean squared error , RMSE）：RMSE=1N∑Ni=1(yi^−yi)2−−−−−−−−−−−−−−√$\sqrt{\frac{1}{N}\sum _{i=1}^N(\widehat{y_i}-y_i{)}^2}$
　　　（2）、平均绝对误差（mean absolute error, MAE）：MAE=1N∑Ni=1|yi^−yi|$\frac{1}{N}\sum _{i=1}^N|\widehat{y_i}-y_i|$
　　　（3）、R2 score：即考虑预测值和真值之间的差异，也考虑了问题本身真值之间的差异（scikit learn线性回归的缺省评价准则）
　　　　　　　　SSres=∑Ni=1(yi^−yi)2$S{S}_{res}=\sum _{i=1}^N(\widehat{y_i}-y_i{)}^2$
　　　　　　　　SStot=∑Ni=1(yi−y¯)2$S{S}_{tot}=\sum _{i=1}^N(y_i-\overline{y}{)}^2$
　　　　　　　　R2=1−SSresSStot$R^2=1-\frac{S{S}_{res}}{S{S}_{tot}}$
　　所以，R2$R^2$越大，模型越好。
　　
　　我们的模型评估和选择，是在Scikitlearn上面做的，这个工具包封装了比较好的API，非常方便我们使用，下面是几种比较常见的API，有兴趣的话，可以去官方文档看下。

在模型的评价中，除了上述的指标外，我们也可以通过可视化将更为直观的将结果显示出来，比如
　　1）检查残差的分布
　　2）打印出预测值与真值的散点图
　　
　比如波士顿房价中预测残差的分布图：

前面我们已经说过，极大似然估计假设残差的分布正是为0均值的正态分布。上图中，残差也近似0均值的正太分布，说明拟合的还可以。
在看下预测值与真值的散点图：

当散点图如上所示，说明预测值和真值之间相关性很强，也说明模型效果愈佳。