什么是参数正则化

训练模型时，在原来的损失函数后，添加模型的复杂度。

L o s s_{n e w} = m i n i m i z e (L o s s (D a t a | M o d e l)) + λ c o m p l e x (M o d e l)

一般我们使用

L_{2}

正则化：

L_{2} = | | w | |_{2}^{2} = Σ_{n = 1}^{n} w_{i}^{2}

为什么引入参数正则化

防止过拟合现象：
机器学习的参数正则化
图中的Training Data的损失越来越小，但是Validation Data的损失却越来越大，因此产生了过拟合现象。使用正则化，可以减轻过拟合的现象，这与模型的复杂度和 $λ$ 有关。

$λ$ 数值过小，可能引发过拟合；过大会可能引发欠拟合。