过拟合
防止过拟合的方法：
1：增加数据集，可以通过对图片进行旋转角度，缩放等等增加数据集。
2：使用正则化函数。
目标依然是减少C的值，可以通过调节lamda的值来进行调节原来的损失函数和正则项的比重。
可以看到更新权重的时候，会把权重的比例减小，因为一般来说小的权重会有更好的拟合能力。
3：减少网络的层数，神经元个数等可以限制网络的拟合能力。
4:dropout
在每次的更新权重的时候，只选择一半的神经元用于计算。完成一次epoch后，重新选择一半的神经元进行计算，这样可以防止某个神经元对其他的某几个神经元过度依赖，而且每次使用不同的节点，相当于使用了不同的神经网络模型，使用多个模型最后求均值，可以减少过拟合。最后学习完之后，记得把学习好的权重除以2，因为每次使用的是一半的神经元。