数学模型--岭回归和Lasso回归
一、岭回归和Lasso回归的基础_OLS回归的矩阵推导
传统的回归上,增加了限定条件 (惩罚项 )
OLS:普通最小二乘法
简化,可估计
回归里很重要的 y = xβ + ε
1.假定一:线性假定
2.假设二:严格外生性
保证估计出来的回归系数无偏且一致
扰动项均值为0
3.假定三:完全无 多重共线性
保证能估计出来
4.假定四:球形扰动项
二、岭回归和Lasso回归的原理
1.岭回归的原理
2.如何选择λ
收敛
不断改变我们的λ,直至整个样本MSPE最小,就具有了最佳的预测能力.
3.lasso回归的原理(筛选变量,还是需要再次回归)
lasso回归用的比较多
lasso回归可以将不重要的变量的回归系数压缩至0(升级版的逐步回归)
三、lass回归应用_利用Stata进行变量筛选
运行后
这就是我们要的最小MSPE
然后λ就是69.020233
预测最小均方差就是6464.6286
1.什么时候用lasso回归
可以分析标准前,也可以是标准化后的结果,因为lasso回归只是筛选变量