机器学习【6】:过拟合?

1.  什么叫做过拟合?

    顾名思义,过拟合就是拟合的过程中太注重于减小误差,而使得拟合的图像或者曲线 超出了我们的预期。 请看图:

                                      机器学习【6】:过拟合?

   对于这样的点,我们希望它拟合出来是这样一条线。但是如果,神经网络太过于注重减小误差,那么就会发生过拟合的现象:

                                     机器学习【6】:过拟合?

   我们发现,过拟合之后,确实误差变小,可是拟合的曲线却不能代表所有的数据集,这并不是我们想要的。

 

2. 过拟合产生的 原因

     一般来说,过拟合产生的原因是:数据量太少,或者神经网络节点太过于多,功能过于 强大,都会造成过拟合。

 

3. 过拟合的解决方式

     正则化可以 解决过拟合,神经网络中也通过dropout的方式解决过拟合,什么叫dropout呢,就是每一层隐藏层,都随机的抛弃掉一些 节点,使得曲线不会和某些特点的点 有特别大的联系。

                                机器学习【6】:过拟合?

                                机器学习【6】:过拟合?