L1和L2正则化二维图的理解

新生上路,小心晕车

1.拉索回归和岭回归要优化的问题是:

L1和L2正则化二维图的理解

  等价于:

L1和L2正则化二维图的理解

  2.可解释为:这个优化问题是把权重w的解限制在某一区域内,同时使得经验损失尽可能小,在二维平面上看,最优解就是经验损失和限制条件区域的交点。可以看出L1正则化交点最有 可能在坐标轴上,L2正则化交点最优可能在较小值的地方。

L1和L2正则化二维图的理解

  3. 这个菱形画出来的是w1+w2=η(常数)L1和L2正则化二维图的理解的图像,着色区域表示L1和L2正则化二维图的理解的点,也就是权重被限制在这个区域,所以交点在最外侧表示最优。