L1和L2正则项的学习

参考链接1

关于稀疏性的问题,我们不做过多的研究与讨论,进我们我们从MAP的角度看看L1和L2正则项会让参数W变成一个什么样的分布。

从MAP的角度看的话,我们加入正则项的目的相当于给模型先验项,而L1和L2的区别在于,我们是预先觉得我们的模型属于什么分布的?

L1和L2正则项的学习

如果我们预先觉得模型的参数w分布符合:标准拉普拉斯分布,那么这就是L1正则化:

L1和L2正则项的学习

如果认为是标准的正太分布的化:那么他就可以转化为L2分布:

L1和L2正则项的学习