卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题

第一个问题:模型过拟合

1.1 什么是过拟合

所谓过拟合(Overfit),是这样一种现象:一个假设在训练数据上能够获得比其他假设更好的拟合,但是在训练数据外的数据集 上却不能很好的拟合数据。此时我们就叫这个假设出现了overfit的现象。 

1.2 造成过拟合的原因

 如上图所示:过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大,由于自变量值可大可小,所以只有系数足够大,才能保证导数值很大

卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题

如上图所示:过拟合,就是拟合函数需要顾忌每一个点,最终形成的拟合函数波动很大。在某些很小的区间里,函数值的变化很剧烈。这就意味着函数在某些小区间里的导数值(绝对值)非常大,由于自变量值可大可小,所以只有系数足够大,才能保证导数值很大。

1.2 造成过拟合的原因

       1过拟合其中一个可能的成因就是模型的vc维过高,使用了过强的模型复杂度(model complexity)的能力。(参数多并且过训练) 
  2还有一个原因是数据中的噪声,造成了如果完全拟合的话,也许与真实情景的偏差更大。 
  3最后还有一个原因是数据量有限,这使得模型无法真正了解整个数据的真实分布。 

  4权值学习迭代次数足够多(Overtraining),拟合了训练数据中的噪声和训练样例中没有代表性的特征。

1.3 过拟合解决方法

        1,获取更多数据

卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题

2. 使用合适的模型

卷积神经网络的过拟合、梯度弥散、batchsize的影响的问题