深刻理解正则化力度与权重的关系图Ridge coefficients as a function of the regularization

详见：https://www.cnblogs.com/pinard/p/6023000.html

每种颜色代表系数向量的不同特征，并且根据正则化参数进行显示。

• 问题：
  查阅相关资料，发现网上不少博主说的正则化力度越大，权重系数越小；正则化力度越大，权重系数越小。对于这句话前半句都能理解，后半句呢？我是看的一头雾水，因为从图片中可以看出，当正则化力度变小的时候，各个曲线的走势都不一样，怎么能说权重系数越小呢？相信好多小伙伴和我有一样的困惑。
• 解答：
  想要理解Ridge coefficients as a function of the regularization这张图，需要通过Ridge（相当于线性回归+L2）回归的损失函数表达式理解，α越大，那么正则项惩罚的就越厉害，得到回归系数θ就越小，最终趋近与0。而如果α越小，即正则化项越小，那么回归系数θ就越来越接近于普通的线性回归系数（也就是说正则项惩罚系数太小了，和没惩罚一样，回归系数和惩罚后的回归系数几乎一样）。