训练过程曲线分析:acc/loss/val_acc/val_loss【转载】
前言
- 本文:训练过程的可视化包括训练集和验证集的acc和loss曲线,根据曲线的不同特点进行超参数调节,可以不断优化网络,总结以下一些曲线特点。
- 开发环境:TensorFlow + Keras + Python
- 问题类型:二分类问题
- 数据集:训练集7170个样本 正负各一半 分类为1/0,验证集划分0.15
- 独立测试集共600个样本 正负各一半
1. 验证集曲线震荡
分析原因:训练的batch_size太小
目前batch_size = 64,改成128:
改成200:
可见,增大batch_size 变大,震荡逐渐消失,同时在测试集的acc也提高了。batch_size为200时,训练集acc小于测试集,模型欠拟合,需要继续增大epoch。
总结
- 增大batchsize的好处有三点:
1)内存的利用率提高了,大矩阵乘法的并行化效率提高。
2)跑完一次epoch(全数据集)所需迭代次数减少,对于相同的数据量的处理速度进一步加快,但是达到相同精度所需要的epoch数量也越来越多。由于这两种因素的矛盾, batch_Size 增大到某个时候,达到时间上的最优。
3)一定范围内,batchsize越大,其确定的下降方向就越准,引起训练震荡越小。
- 盲目增大的坏处:
1)当数据集太大时,内存撑不住。
2)过大的batchsize的结果是网络很容易收敛到一些不好的局部最优点。
3)batchsize增大到一定的程度,其确定的下降方向已经基本不再变化。
4)太小的batch也存在一些问题,比如训练速度很慢,训练不容易收敛等。
5)具体的batch size的选取和训练集的样本数目相关。
参考:https://blog.csdn.net/qq_35008279/article/details/90695114