神经网络高阶技巧7--早停(early stopping)与保存最佳模型
早停法这个词,其实我们并不陌生。因为在传统的机器学习中,我们就用到过。例如在一个xgboost,或者lightgbm模型中,为了防止过拟合,我们就会用:
clf = lgb.train(params=param,train_set=trn_data,num_boost_round=50000,
valid_sets=val_data,verbose_eval=1000,early_stopping_rounds=500)
用early_stopping_rounds指定早停轮数,即如果在500轮内验证集指标不提升我们就停止迭代。
同时在预测时,
predictions = clf.predict(X_test, num_iteration=clf.best_iteration)
指定选用最好的迭代次数。
那么在神经网络中,有没有类似的用法呢?
是有的。
在keras中:
best_weights_filepath = './best_weights.hdf5'
earlyStopping=kcallbacks.EarlyStopping(monitor='val_loss', patience=10, verbose=1, mode='auto')
saveBestModel = kcallbacks.ModelCheckpoint(best_weights_filepath, monitor='val_loss', verbose=1, save_best_only=True, mode='auto')
# train model
history = model.fit(x_tr, y_tr, batch_size=batch_size, nb_epoch=n_epochs,
verbose=1, validation_data=(x_va, y_va), callbacks=[earlyStopping, saveBestModel])
#reload best weights
model.load_weights(best_weights_filepath)
代码来自:
https://blog.csdn.net/ukakasu/article/details/84133270
当然这里获得最佳模型后,你也可以不load_weights。
关于EarlyStopping的介绍与参数:
请参见:
https://blog.csdn.net/silent56_th/article/details/72845912