机器学习(七):稀疏表示与字典学习(L0,L1,L2范数)

机器学习系列主要为 我在国科大研一期间,在《机器学习方法与应用》课程中所学知识概述,以及课后补充学习的内容。

---------------------------------------------------------------------------------------------------------------------------

L0范数指向量中非零元素的个数

L1范数:向量中每个元素绝对值的和

L2范数:向量元素绝对值的平方和再开平方

L2正则化——让模型变得简单 :可以解决模型训练中的过拟合现象,它也被称为权重衰减。使用一个乘性因子去调整权重,因此权重会不断衰减,并且在权重较大时衰减地快,权重较小时衰减地慢。

L1,L0正则化——让模型变得稀疏:

L0正则化:L0正则化就是限制非零元素的个数在一定的范围,这很明显会带来稀疏。一般而言,用L0范数实现稀疏是一个NP-hard问题,因此人们一般使用L1正则化来对模型进行稀疏约束。

L1正则化:通过加上或者减去一个常量,让w向0靠近。相比L2正则化,L1对于小权重减小地很快,对大权重减小较慢,因此最终模型的权重主要集中在那些高重要度的特征上,对于不重要的特征,权重会很快趋近于0。所以最终权重w会变得稀疏。

机器学习(七):稀疏表示与字典学习(L0,L1,L2范数)