Datawhale&kesci&伯禹教育-深度学习-第二次打卡1 过拟合&欠拟合的解决方法

训练误差和泛化误差

训练误差： 在训练数据上表现得误差
泛化误差：在任意测试数据上表现的误差的期望
通过损失来衡量误差。例如，线性回归用平方损失函数，softma用的交叉熵回归。
模型的核心是降低泛化误差。

常见训练数据划分方法

1.留有一定比例的验证集
2. K折交叉验证

欠拟合（无法得到较低的误差）和过拟合（训练误差远小于测试误差）

产生的原因： 模型复杂度和训练数据

1.模型复杂度
2. 训练数据
一般来说训练数据随模型成正比例关系。

解决方法 ： L2范数正则化

通过模型的计算误差来惩罚模型
公式上计算 为权重参数每个元素的平方和一个正数的乘积

$\ell(w_1, w_2, b) = \frac{1}{n} \sum_{i=1}^n \frac{1}{2}\left(x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}\right)^2$ℓ(w1​,w2​,b)=n1​i=1∑n​21​(x1(i)​w1​+x2(i)​w2​+b−y(i))2

其中$w_1, w_2$w1​,w2​是权重参数，$b$b是偏差参数，样本$i$i的输入为$x_1^{(i)}, x_2^{(i)}$x1(i)​,x2(i)​，标签为$y^{(i)}$y(i)，样本数为$n$n。将权重参数用向量$\boldsymbol{w} = [w_1, w_2]$w=[w1​,w2​]表示，带有$L_2$L2​范数惩罚项的新损失函数为

$\ell(w_1, w_2, b) + \frac{\lambda}{2n} |\boldsymbol{w}|^2,$ℓ(w1​,w2​,b)+2nλ​∣w∣2,

其中超参数$\lambda > 0$λ>0。当权重参数均为0时，惩罚项最小。当$\lambda$λ较大时，惩罚项在损失函数中的比重较大，这通常会使学到的权重参数的元素较接近0。当$\lambda$λ设为0时，惩罚项完全不起作用。上式中$L_2$L2​范数平方$|\boldsymbol{w}|^2$∣w∣2展开后得到$w_1^2 + w_2^2$w12​+w22​。
有了$L_2$L2​范数惩罚项后，在小批量随机梯度下降中，我们将线性回归一节中权重$w_1$w1​和$w_2$w2​的迭代方式更改为

$\begin{aligned} w_1 &\leftarrow \left(1- \frac{\eta\lambda}{|\mathcal{B}|} \right)w_1 - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}}x_1^{(i)} \left(x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}\right),\\ w_2 &\leftarrow \left(1- \frac{\eta\lambda}{|\mathcal{B}|} \right)w_2 - \frac{\eta}{|\mathcal{B}|} \sum_{i \in \mathcal{B}}x_2^{(i)} \left(x_1^{(i)} w_1 + x_2^{(i)} w_2 + b - y^{(i)}\right). \end{aligned}$w1​w2​​←(1−∣B∣ηλ​)w1​−∣B∣η​i∈B∑​x1(i)​(x1(i)​w1​+x2(i)​w2​+b−y(i)),←(1−∣B∣ηλ​)w2​−∣B∣η​i∈B∑​x2(i)​(x1(i)​w1​+x2(i)​w2​+b−y(i)).​

可见，$L_2$L2​范数正则化令权重$w_1$w1​和$w_2$w2​先自乘小于1的数，再减去不含惩罚项的梯度。因此，$L_2$L2​范数正则化又叫权重衰减。权重衰减通过惩罚绝对值较大的模型参数为需要学习的模型增加了限制，这可能对过拟合有效。

丢弃法

多层感知机中神经网络图描述了一个单隐藏层的多层感知机。其中输入个数为4，隐藏单元个数为5，且隐藏单元$h_i$hi​（$i=1, \ldots, 5$i=1,…,5）的计算表达式为

$h_i = \phi\left(x_1 w_{1i} + x_2 w_{2i} + x_3 w_{3i} + x_4 w_{4i} + b_i\right)$hi​=ϕ(x1​w1i​+x2​w2i​+x3​w3i​+x4​w4i​+bi​)

这里$\phi$ϕ是**函数，$x_1, \ldots, x_4$x1​,…,x4​是输入，隐藏单元$i$i的权重参数为$w_{1i}, \ldots, w_{4i}$w1i​,…,w4i​，偏差参数为$b_i$bi​。当对该隐藏层使用丢弃法时，该层的隐藏单元将有一定概率被丢弃掉。设丢弃概率为$p$p，那么有$p$p的概率$h_i$hi​会被清零，有$1-p$1−p的概率$h_i$hi​会除以$1-p$1−p做拉伸。丢弃概率是丢弃法的超参数。具体来说，设随机变量$\xi_i$ξi​为0和1的概率分别为$p$p和$1-p$1−p。使用丢弃法时我们计算新的隐藏单元$h_i'$hi′​

$h_i' = \frac{\xi_i}{1-p} h_i$hi′​=1−pξi​​hi​

由于$E(\xi_i) = 1-p$E(ξi​)=1−p，因此

$E(h_i') = \frac{E(\xi_i)}{1-p}h_i = h_i$E(hi′​)=1−pE(ξi​)​hi​=hi​

即丢弃法不改变其输入的期望值。让我们对之前多层感知机的神经网络中的隐藏层使用丢弃法，一种可能的结果如图所示，其中$h_2$h2​和$h_5$h5​被清零。这时输出值的计算不再依赖$h_2$h2​和$h_5$h5​，在反向传播时，与这两个隐藏单元相关的权重的梯度均为0。由于在训练中隐藏层神经元的丢弃是随机的，即$h_1, \ldots, h_5$h1​,…,h5​都有可能被清零，输出层的计算无法过度依赖$h_1, \ldots, h_5$h1​,…,h5​中的任一个，从而在训练模型时起到正则化的作用，并可以用来应对过拟合。在测试模型时，我们为了拿到更加确定性的结果，一般不使用丢弃法

为什么丢弃法，期望不改变？