一、分类器评价指标
1、混淆矩阵:衡量的是一个分类器分类的准确程度。适用于多分类器问题。
![机器学习和深度学习常用的评价指标 机器学习和深度学习常用的评价指标](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzgwOC9mNmQ0OWIyMjUyYmY4YmM2OGRhNTkxNDgxYzUzYTE4OC5wbmc=)
TP(真正)True Positive:实际为正,预测为正
FP(假正)False Positive:实际为负,预测为正
FN(假负)False Negative:实际为正,预测为负
TN(真负)True Negative:实际为负,预测为负
主要指标计算:
真正类率:True Positive Rate
TPR=TP+FNTP【击中率】
假正类率:False Positive Rate
FPR=FP+TNFP【错误报警率】
真负类率:
TNR=FP+TNTN=1−FPR
2、准确率(ACC):正确预测的样本/样本总数
ACC = (TP+TN)/(TP+FP+FN+TN)
3、精确率(就预测结果而言):分类器不将负样本标记为正样本的能力。
precision=TP+FPTP
4、召回率(就原来样本而言):分类器发现所有正样本的能力
recall=TP+FNTP
5、F1:精确率和召回率的调和平均
F1=recall+precision2(recall×precision)
6、logloss:逻辑损失或交叉熵损失
J(θ)=m1i=1∑m[−y(i)log(hθ(x(i)))−(1−y(i))log(1−hθ(x(i)))]
7、AUC:将测试样本排序,越可能是正例的排在越前面。AUC为ROC曲线以下的面积,看出AUC越大,模型的效果越好。
真正类率:
TPR=TP+FNTP
假正类率:
FPR=FP+TNFP
则有ROC曲线:
![机器学习和深度学习常用的评价指标 机器学习和深度学习常用的评价指标](/default/index/img?u=aHR0cHM6Ly9waWFuc2hlbi5jb20vaW1hZ2VzLzY0MC84Y2RmNTFlOGQ4ODc1NGNkYTkzNTBiMTQyMzcxNWU5MC5wbmc=)
(本图来源《机器学习》周志华)
二、回归器评价指标
1、均方误差(mean-square error, MSE)
MES(y,yi)=m1(yi−yi)2
2、最大误差(max_error):
max−error=max(∣yi−yi∣)
3、平均绝对误差(mean_absolute_error)
MES(y,yi)=m1∣yi−yi∣