4-2 过拟合
对于回归来说：
对于分类来说：
当新数据（未参与训练）要求回归或分类时，过拟合的网络得到拟合的效果比较差，泛化能力不足。
1数据挖掘中说拥有足够多的数据往往胜过一个好的模型
2正则化中，优化损失函数C时，也会优化后面的正则项，即w（网络中的权值）会减小，使得原本比较小的权值越来越接近于几乎等于0，相当于该权值的某个神经元不存在，减小了网络的复杂程度，类似dropout的效果
3dropout使得每一次迭代训练时一部分神经元工作，另一部分神经元不工作。所以每一次迭代都是训练不同的网络。训练时使用部分神经元训练，但是测试时让所有神经元都被**。
使用dropout不使dropout的区别：使用了过拟合网络的收敛速度会变慢，毕竟少了很多神经元工作。那为什么还要使用dropout呢？训练出来的网络可能在训练集上进行测试的效果很好，但是在测试集上进行测试的效果差很多，尤其体现在复杂的深层网络中训练样本较少而测试样本很多的情况。