L0,L1,L2范数

L0范数是指向量中非0的元素的个数。

L1范数是指向量中各个元素绝对值之和,也叫“稀疏规则算子”。

L1范数和L0范数可以实现稀疏,L1因具有比L0更好的优化求解特性而被广泛应用。

L2范数是指向量各元素的平方和然后求平方根,在回归里面,有人把有它的回归叫“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。它的强大功效是改善机器学习里面一个非常重要的问题:过拟合。

L0,L1,L2范数