权重衰减（weight decay）与学习率衰减（learning rate decay）

1. 权重衰减（weight decay）

L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。

1.1 L2正则化与权重衰减系数

L2正则化就是在代价函数后面再加上一个正则化项：

 

其中 C0 代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数w的平方的和，除以训练集的样本大小n。λ就是正则项系数，权衡正则项与 C0项的比重。另外还有一个系数1/2, 1/2经常会看到，主要是为了后面求导的结果方便，后面那一项求导会产生一个2，与1/2相乘刚好凑整为1。系数λ就是权重衰减系数。

1.2 为什么可以对权重进行衰减

我们对加入L2正则化后的代价函数进行推导，先求导：

转载自：https://zhuanlan.zhihu.com/p/38709373，本文只做个人记录学习使用，版权归原作者所有。