一、线性回归模型概述

• 线性回归模型：简单的来说就是在样本空间中的一条直线或者一个平面或者更高维的超平面，并且我们要使得预测值与真实值之间的误差最小化。
• 三维样本空间如下图：
  
• 二维样本空间：
  

二、线性回归模型

• 给定训练集$D={(x_1,y_1 ),(x_2,y_2 ),…,(x_n,y_n)}$D=(x1​,y1​),(x2​,y2​),…,(xn​,yn​)其中$x_i∈R^d;y∈R;$xi​∈Rd;y∈R;线性回归模型如下：$f(x_i )=w^T x_i+b$f(xi​)=wTxi​+b并且我们期望得到的模型有下面式子成立：$f(x_i )≈y_i$f(xi​)≈yi​

• 为便于讨论我们将将$b$b并入到$w$w中：$x_i=[x_i^1,x_i^2,…,x_i^d,1]^T$xi​=[xi1​,xi2​,…,xid​,1]T$w_i=[w_i^1,w_i^2,…,w_i^d,b]^T$wi​=[wi1​,wi2​,…,wid​,b]T所以线性回归模型可以表示为：$f(x_i )=w^T x_i$f(xi​)=wTxi​

• 我们将每个样本的预测值与真实值记为：$ε_i$εi​ $y_i=w^T x_i+ε_i$yi​=wTxi​+εi​

• 假设误差$ε_i$εi​是独立同分布的，并且服从高斯分布。即：$P(ε_i )=\frac{1}{\sqrt{2πσ}} exp(-\frac{ε_i^2}{2σ^2 })$P(εi​)=2πσ​1​exp(−2σ2εi2​​)$ε_i=y_i-x_i$εi​=yi​−xi​带入得到：$P(y_i |x_i,w)=\frac{1}{\sqrt{2πσ}} exp(-\frac{(y_i-w^T x_i)^2}{2σ^2 })$P(yi​∣xi​,w)=2πσ​1​exp(−2σ2(yi​−wTxi​)2​)已知参数$w$w和数据$x_i$xi​的情况下，预测值为$y_i$yi​的条件概率.

• 注：这个地方个人感觉比较疑惑：$P(ε_i )$P(εi​)按理来说表示的是误差为$ε_i$εi​时的概率，为啥一下变成预测值为$y_i$yi​的条件概率了呢？个人的一个理解：当我们的模型$f(x_i )=w^T x_i$f(xi​)=wTxi​确定后，$w$w是固定的，所以我们向模型输入一个$x_i$xi​都会有一个预测值$f(x_i )$f(xi​)输出，并且预测值是唯一确定的。而样本$x_i$xi​的标签$y_i$yi​也是唯一确定的；那么误差$ε_i$εi​也唯一确定的并且与标签$y_i$yi​是一一对应关系，所以$ε_i$εi​的概率就等于$y_i$yi​的概率。

• 于是可以得到最大似然函数：$L(w)=∏_{i=1}^nP(y_i |x_i,w) =∏_{i=1}^n\frac{1}{\sqrt{2πσ}} exp(-\frac{(y_i-w^T x_i)^2}{2σ^2 })$L(w)=i=1∏n​P(yi​∣xi​,w)=i=1∏n​2πσ​1​exp(−2σ2(yi​−wTxi​)2​)取对数：$l(w)=∑_{i=1}^nlog(P(y_i |x_i,w))$l(w)=i=1∑n​log(P(yi​∣xi​,w))$=∑_{i=1}^nlog(\frac{1}{\sqrt{2πσ}}) -∑_{i=1}^n\frac{(y_i-w^T x_i )^2}{2σ^2 }$=i=1∑n​log(2πσ​1​)−i=1∑n​2σ2(yi​−wTxi​)2​$=nlog(\frac{1}{\sqrt{2πσ}})-\frac{1}{2σ^2 } ∑_{i=1}^n(y_i-w^T x_i )^2$=nlog(2πσ​1​)−2σ21​i=1∑n​(yi​−wTxi​)2

• 使用极大似然估计法最大化上面函数得到$w$w，从而得到模型。由于上面函数为$w$w的函数所以其它量都是常量，则最大化$l(w)$l(w)就是最小化下面公式：$J(w)=\frac{1}{2} ∑_{i=1}^n(y_i-w^T x_i )^2$J(w)=21​i=1∑n​(yi​−wTxi​)2$\frac{1}{2}$21​只是为了求导方便留下的。这就是最小二乘法的目标函数。

• 将上面式子转化为矩阵运算：$J(w)=\frac{1}{2} ∑_{i=1}^n(y_i-w^T x_i )^2=\frac{1}{2} \begin{vmatrix} \begin{bmatrix} y_1-w^T x_1 \\ y_2-w^T x_2 \\ \vdots \\ y_n-w^T x_n \end{bmatrix} \end{vmatrix}^2$J(w)=21​i=1∑n​(yi​−wTxi​)2=21​∣∣∣∣∣∣∣∣∣​⎣⎢⎢⎢⎡​y1​−wTx1​y2​−wTx2​⋮yn​−wTxn​​⎦⎥⎥⎥⎤​​∣∣∣∣∣∣∣∣∣​2$=\frac{1}{2}\begin{vmatrix} Y-X^T W \end{vmatrix}^2=\frac{1}{2} (Y-X^T W)^T (Y-X^T W)$=21​∣∣​Y−XTW​∣∣​2=21​(Y−XTW)T(Y−XTW)其中：$Y=[y_1,y_2,…,y_n ]^T∈R^{n×1}$Y=[y1​,y2​,…,yn​]T∈Rn×1$X=[x_1,x_2,…,x_n ]∈R^{d+1×n}$X=[x1​,x2​,…,xn​]∈Rd+1×n$x_i=[x_i^1,x_i^2,…,x_i^d,1]^T∈R^{d+1×1}$xi​=[xi1​,xi2​,…,xid​,1]T∈Rd+1×1$w_i=[w_i^1,w_i^2,…,w_i^d,b]^T ∈R^{d+1×1}$wi​=[wi1​,wi2​,…,wid​,b]T∈Rd+1×1$\begin{vmatrix} \end{vmatrix}$∣∣为行列式

• 将$J(w)$J(w)称为线性回归模型的目标函数或损失函数，该函数是凸函数，只要找到一阶导数为0的位置，就找到了最优解

• 对$J(w)$J(w)求导：$\frac{∂J(w)}{∂w}=\frac{1}{2} \frac{∂}{∂w} ((Y-X^T W)^T (Y-X^T W))$∂w∂J(w)​=21​∂w∂​((Y−XTW)T(Y−XTW))$=\frac{1}{2} \frac{∂}{∂w}(Y^T Y-Y^T X^T W-W^T XY+W^T XX^T W)$=21​∂w∂​(YTY−YTXTW−WTXY+WTXXTW) 由于$Y^T X^T W$YTXTW为一个常数所以：$Y^T X^T W=(Y^T X^T W)^T=W^T XY$YTXTW=(YTXTW)T=WTXY所以有：$\frac{∂J(w)}{∂w}=\frac{1}{2} \frac{∂}{∂w}(Y^T Y-2W^T XY+W^T XX^T W)$∂w∂J(w)​=21​∂w∂​(YTY−2WTXY+WTXXTW)$=-\frac{∂(W^T XY)}{∂w}+\frac{1}{2} \frac{∂(W^T XX^T W)}{∂w}$=−∂w∂(WTXY)​+21​∂w∂(WTXXTW)​$=-XY+\frac{1}{2} \frac{∂(W^T (XX^T W)}{∂w}+\frac{∂((W^T XX^T )W)}{∂w}$=−XY+21​∂w∂(WT(XXTW)​+∂w∂((WTXXT)W)​$=-XY+\frac{1}{2} (XX^T W+(W^T XX^T )^T )=XX^T W-XY$=−XY+21​(XXTW+(WTXXT)T)=XXTW−XY$=X(X^TW-Y)$=X(XTW−Y)

• 线性模型的学习算法主要有：最小二乘法和梯度下降法

三、最小二乘法：

• 最小二乘法是利用矩阵运算求解方程组的思想来直接求解：$\frac{∂J(w)}{∂w}=0$∂w∂J(w)​=0$XX^T W=XY$XXTW=XY
• 若$XX^T$XXT可逆：有唯一解：$W^*=(XX^T )^{-1} XY=(X^T )^{-1} X^{-1} XY=(X^T )^{-1} Y$W∗=(XXT)−1XY=(XT)−1X−1XY=(XT)−1Y
• 若$XX^T$XXT不可逆：可能有多个解，选择哪一个解作为输出，将有学习算法的偏好决定，常见的做法是增加$λ$λ扰动：$W^*=(XX^T+λI)^{-1} XY$W∗=(XXT+λI)−1XY
• 算法步骤:
  • 从数据集D出发，构建输入矩阵$X$X和输出向量$y$y $Y=[y_1,y_2,…,y_n ]^T∈R^{n×1}$Y=[y1​,y2​,…,yn​]T∈Rn×1$X=[x_1,x_2,…,x_n ]^T∈R^{n×d+1}$X=[x1​,x2​,…,xn​]T∈Rn×d+1
  • 计算伪逆（pseudo-inverse）：$X^+$X+
  • 返回$w^*= X^+ y$w∗=X+y，得到线性回归模型为：$\hat{y}= {w^*}^T X$y^​=w∗TX

四、梯度下降算法：

• 上面求导的结果： $\frac{∂J(w)}{∂w}=X(X^TW-Y)=$∂w∂J(w)​=X(XTW−Y)=它还有另外一个名字，叫梯度，它是一个向量表示自变量沿着这个方向移动函数值增长最快，也就是说如果我们沿着其反方向走，函数下降的最快。这就是梯度下降算法的思想：
• 上面梯度可以写成：$\frac{∂J(w)}{∂w}=X(X^TW-Y)=X(f(X)-Y)$∂w∂J(w)​=X(XTW−Y)=X(f(X)−Y)展开为：$\frac{∂J(w)}{∂w_j }=∑_{i=1}^n(f(x_i )-y_i ) x_i^j$∂wj​∂J(w)​=i=1∑n​(f(xi​)−yi​)xij​
• 那么参数$w$w沿着梯度反方向，迭代的公式为：$W=W-λ \frac{∂J(w)}{∂w}$W=W−λ∂w∂J(w)​$W_i=W_i-λ \frac{∂J(w)}{∂w_j }=W_i-∑_{i=1}^n(f(x_i )-y_i ) x_i^j$Wi​=Wi​−λ∂wj​∂J(w)​=Wi​−i=1∑n​(f(xi​)−yi​)xij​其中λ为步长。