机器学习算法系列篇9:Lasso 和 Ridge回归算法
更多专业的人工智能相关文章,微信搜索 : robot-learner , 或扫码
模型的参数空间过大可能导致过拟合,而Lasso和Ridge回归模型则是在线性回归模型的基础上,通过正则规则增加了对参数的限制,从而达到参数稀疏化和减小过拟合的效果。
两种回归模型分别对应的损失函数优化方法如下:
二者的区别是,Ridge回归算法的限制项是L2范数,而Lasso回归的限制条件是L1范数。根据优化过程的对等性,上面所列的有限制的优化过程其实等同于下面的优化过程:
可以看出,我们引进了了惩罚系数λ,从而使得有限制的优化过程简单化。
在最小化上式的过程中,由于惩罚项的存在,λ越大,回归算法的系数越会被限制。而两种回归算法的区别在于:
Ridge回归中,参数只是不断接近于0,但是Lasso回归中,部分参数会完全被限制为0。这个优化过程可以用下图表示:
上面的示意图反映了在Lasso (左图)和Ridge (右图)回归中的参数最小化的不同情况。 在左图中,β1被Lasso回归限制为0,但在右图中, β1和β2都变得很小但仍然无完全为0。由于Lasso回归的这一特性,在需要得到比较稀疏的系数时候Lasso更为常用。
比如下图反映了,在Lasso回归中不断调节λ系数的大小,可以达到不同的参数稀疏化程度。
上图中,横坐标为λ系数的大小, 纵坐标为某个优化方程的各个β系数随着λ系数变化而变化情况。可以看出,假设我们做许多的优化实验,每次实验中,λ系数不断变大,则为0的β系数越来越多。当λ系数大到一定程度,所有的β系数都为0。