线性回归的数学解释

百度百科：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法

在实际中考虑，则是我们有一些x和y的数据，需要根据这些数据找到他们的关系式，也就是找到系数Θ

假设我们有两个x数据x1和x2,并由与之对应的y1和y2，用x来拟合y，最简单的模型为

                                         

当我们使用一个线性模型去拟合数据时，我们就默认假定了y是服从线性分布的，再引入一个随机误差项，可得真实数据值得表达式为：

                                           

Σ是一个完全随机噪声，与数据中的X与Y都没有关系，假设他服从均值为0，方差为的正态分布。

注意：如果这里正太分布的均值不为0，已知前面中含有θ0，那么调整θ0，就一定可以使均值为0；

由于Σ服从正态分布，则有

                                      

由此我们得出yi的概率

                                      

使用最大似然估计，其似然函数为

                              

求对数

                              

我们想要确定θ的值，就要求似然函数的最大值，根据化简，也就是求下面函数的最小值

                                      

这里我们使用矩阵表示上式

                                 

解释，Xθ-Y是一个m*1的矩阵。矩阵中每一个数求平方再相加就是矩阵的逆与矩阵相点乘

这里对J(θ)求导，导数等于0

                         

求出θ的值

                               

这里我们假设可逆，那如果其不可逆或者为了防止过拟合，我们可以增加扰动

                       

加入扰动后，我们知道，一定是个对称的，假设他是个3*3的全1矩阵，此时非正定，但如果在主对角线上每个都加，则他一定正定，从而可逆。

我们再返回去重新考虑线性回归的目标函数

                          

这个函数我们把噪声也都加进去了，那如果我要抑制这些噪声，可以使用下式

                          

这是岭回归的式子，把θ方换成绝对值，就使lasso回归。

将抑制噪声的式子按照前面的步骤进行推到，就可以得到增加扰动的θ方程。