《数学基础》-1.线性代数-1.4.矩阵的特征值和特征向量
1.6.多元线性回归方程估计
1.6.1.多元线性回归方程
现在有N个样本，每个
都是n维的。
1.6.2.多元线性回归方程的求解
然后对a求偏导
利用矩阵的求导公式：
由以上求导公式得：
令(6)=0得:
情况1，N>n，样本数>维度（参数个数）
根据上节课SVD分解证明的先导推论里面有:
到这里就把a解出来了，也把a的右边的表达式称为X的伪逆矩阵。
情况2，N<n，样本数<维度（参数个数）
这个情况参数比样本数要多，也就是出现了过拟合的现象。为了解决这个现象，我们通常是要采用正则化来解决，也就是：
求导的结果也就变成：
令公式（8）等于0，并化简：
所以公式（9）整体恒大于0，所以公式（9）是正定的，其对应的特征值，且一定可逆。
为什么叫岭回归呢？因为这个东西的形式就是在对角线上加了一项λ，就好像中间对角线好比一道山岭，通过加上λ使其更加的高耸。