机器学习与深度学习系列连载: 第一部分 机器学习(十八)模型评估
模型评估
模型评估中有三个关键问题:
如何获得测试结果? 评估方法
如何评估性能优劣? 性能度量
如何判断实质差别? 比较检验
1. 模型评估方法,请参考机器学习第四节[误差分析](https://blog.****.net/dukuku5038/article/details/82682855)
2. 性能度量(performance measure)是衡量模型泛化能力的
评价标准,反映了任务需求
(1)错误率 VS 精度
(2)查准率 vs. 查全率
(3)PR图, BEP
(4)F1
(5)ROC, AUC
(6)非均等代价
3. 比较检验
在某种度量下取得评估结果后,是否可以直接比较以评判优劣?
机器学习的理论基础
常用方法:
统计假设检验 (hypothesis test) 为学习器性能比较提供了 重要依据
Friedman 检验图: