机器学习中的评估指标
一. 机器学习的目标
什么模型好??
泛化能力强!!!能很好的适用于没见过的样本。例如 错误率低 精度高
我们手上没有未知的样本,如何可靠评估??
关键:获得可靠的测试集数据?
测试集(用于评估)应该与训练集(用于模型学习)"互斥"
二. 机器学习的评估方法
1.留出法
注意:
1.测试集不能太大,不能太小
2.多次重复划分
3.保持数据分布一致性
2.自助法
3.交叉验证法
三. 机器学习的评估度量标准
性能度量是衡量模型泛华能力的数值评价标准,反映了当前问题
使用不同的性能度量可能会导致不同的评判结果
关于模型好坏的判断,不仅取决于算法和数据,还取决于当前任务需求
分类问题的常用性能度量:
错误率:
精度:
二分类混淆矩阵:
准确率表示的是对于预测结果是正例的部分,的确是正例的概率
召回率表示的是真是情况是正例的部分,预测也是正例的概率
F1:
AUC:
回归问题的常用性能度量
平均绝对误差:
均方误差:
均方根误差:
R平方: