L1和L2正则化二维图的理解
新生上路,小心晕车
1.拉索回归和岭回归要优化的问题是:
等价于:
2.可解释为:这个优化问题是把权重w的解限制在某一区域内,同时使得经验损失尽可能小,在二维平面上看,最优解就是经验损失和限制条件区域的交点。可以看出L1正则化交点最有 可能在坐标轴上,L2正则化交点最优可能在较小值的地方。
3. 这个菱形画出来的是w1+w2=η(常数)的图像,着色区域表示的点,也就是权重被限制在这个区域,所以交点在最外侧表示最优。
新生上路,小心晕车
1.拉索回归和岭回归要优化的问题是:
等价于:
2.可解释为:这个优化问题是把权重w的解限制在某一区域内,同时使得经验损失尽可能小,在二维平面上看,最优解就是经验损失和限制条件区域的交点。可以看出L1正则化交点最有 可能在坐标轴上,L2正则化交点最优可能在较小值的地方。
3. 这个菱形画出来的是w1+w2=η(常数)的图像,着色区域表示的点,也就是权重被限制在这个区域,所以交点在最外侧表示最优。