线性回归

1.线性回归基本形式
1）单变量线性回归扩展至多维
单变量：y = kx+b
多变量可以表示为两种形式
a.将偏置项参数放在参数矩阵中

b.将偏置项作为单独的参数处理
其中：与均为矩阵形式；
2）如何求解多维线性回归的参数
根据形式2，推导参数的表达式：
其中独立同分布，服从均值为0，方差为某定值的高斯分布(中心极限定理)
根据其联合分布且独立的条件，求其似然函数

处理后求出线性回归的目标函数：

根据矩阵的性质：

对目标函数处理

求得参数为：

2.最小二乘法
类似于梯度下降，都是一种求解无约束最优化问题的常用方法，并且也可以用于曲线拟合，来解决回归问题。最小二乘法实质就是最小化“均方误差”，而均方误差就是残差平方和的1/m(m为样本数)，同时均方误差也是回归任务中最常用的性能度量。
求解一元线性回归参数：

对参数求导

利用克莱姆法则求解：


总之，线性回归中利用极大似然估计的方式给最小二乘提供了合理的解释；
2.局部加权线性回归
出发点：简单的形式下的模型产生欠拟合现象
解决方案：通过修改权重(即附近点的权重较高)方式
应用公式：在参数中加入样本对应的权重

高斯核对应的样本权重：

即构造一个只含对角线元素的权重矩阵，且离x越近，权重越大；
其中，k为高斯核参数，控制衰减的速度；
3.线性回归的局限性
存在的问题：
1）当特征比样本值还多的时候，如何求解参数？(数学上表现为一个方程求解一个未知数)
2）引起的问题：在矩阵求解中，矩阵不可逆现象
解决方案：可以考虑适当的减少特征值的个数
①岭回归；②lasso；③前向逐步回归；
4.岭回归
1）什么是”岭”?
岭回归使用了单位矩阵乘以常量,单位矩阵对角线为1，其余元素为0，将在0构成的平面上出现的1构成的形状称为”岭”;
2)岭回归在矩阵上加上一个从而使得矩阵为非奇异矩阵；
权重表达式为：

说明：可以作为惩罚因子，对权重的和加以影响，从而减少一些不重要参数的影响；
5.前向逐步回归
1）出发点：基于贪心的思想，每次通过’试探’的方式，发现比现在更好的系数矩阵，从而一步步减少误差；
2）伪代码

6.lasso
岭回归与Lasso回归最大的区别在于岭回归引入的是L2范数惩罚项，Lasso回归引入的是L1范数惩罚项，Lasso回归能够使得损失函数中的许多θ均变成0，这点要优于岭回归，因为岭回归是要所有的θ均存在的，这样计算量Lasso回归将远远小于岭回归。

在求解lasso回归时，无法使用传统的方法 (如梯度下降、牛顿法等)，考虑使用别的求解方式：
1）LAR(最小角回归)
前向逐步回归：每次根据选择的变量子集，完全拟合出线性模型，计算出误差，对较高的模型复杂度做出惩罚；
LAR选择相关系数(自变量和因变量)作为衡量标准，使用最小二乘估计 (确保估计值和观察值之间的误差平方和最小)的方法逐渐减少其系数，从而达到求解的过程
(从某种意义上来说，在梯度下降中将计算的误差平方和直接对整个系数矩阵求导，等价于将误差产生的”后果”分给每个变量去”承担”,而在最小角回归中，它将产生的误差平方和分配给单个变量，通过调节它的属性来降低误差；)
实现步骤：
2）坐标轴下降法
数学依据：一个可微的凸函数,其中为n*1(n维)的向量，如果在某一点,使得在每一个坐标轴上都为最小值，那么全局最小；
举例：

当只有2维时，此时图中和Y最近的为X1，那么就沿着X1走一段距离，当其与终点的连线刚好在X1和X2的对角线上时停止，之后沿着对角线走，直到残差足够小时停止，此时其系数就是最终需要求解的系数；
优点：
1）适合于特征维度n 远高于样本数m的情况；(此时使用传统的求解时面临系数矩阵不可逆的现象)；
2）算法的最坏计算复杂度和最小二乘法类似，但是其计算速度几乎和前向选择算法一样；
3）可以产生分段线性结果的完整路径，这在模型的交叉验证中极为有用