机器学习和深度学习常用的评价指标

一、分类器评价指标

1、混淆矩阵：衡量的是一个分类器分类的准确程度。适用于多分类器问题。

TP（真正）True Positive：实际为正，预测为正
FP（假正）False Positive：实际为负，预测为正
FN（假负）False Negative：实际为正，预测为负
TN（真负）True Negative：实际为负，预测为负
主要指标计算：
真正类率：True Positive Rate
$\displaystyle TPR=\frac{TP}{TP+FN}$TPR=TP+FNTP​【击中率】
假正类率：False Positive Rate
$\displaystyle FPR=\frac{FP}{FP+TN}$FPR=FP+TNFP​【错误报警率】
真负类率：
$\displaystyle TNR=\frac{TN}{FP+TN}=1 - FPR$TNR=FP+TNTN​=1−FPR
2、准确率（ACC）：正确预测的样本/样本总数
ACC = (TP+TN)/(TP+FP+FN+TN)
3、精确率（就预测结果而言）：分类器不将负样本标记为正样本的能力。
$\displaystyle precision=\frac{TP}{TP+FP}$precision=TP+FPTP​
4、召回率（就原来样本而言）：分类器发现所有正样本的能力
$\displaystyle recall=\frac{TP}{TP+FN}$recall=TP+FNTP​
5、F1：精确率和召回率的调和平均
$\displaystyle F_{1} =\frac{2( recall\times precision)}{recall+precision}$F1​=recall+precision2(recall×precision)​
6、logloss：逻辑损失或交叉熵损失
$J(\theta) = \frac{1}{m}\sum_{i=1}^{m}\big[-y^{(i)}\, log\,( h_\theta\,(x^{(i)}))-(1-y^{(i)})\,log\,(1-h_\theta(x^{(i)}))\big]$J(θ)=m1​i=1∑m​[−y(i)log(hθ​(x(i)))−(1−y(i))log(1−hθ​(x(i)))]

7、AUC：将测试样本排序，越可能是正例的排在越前面。AUC为ROC曲线以下的面积，看出AUC越大，模型的效果越好。
真正类率：
$\displaystyle TPR=\frac{TP}{TP+FN}$TPR=TP+FNTP​
假正类率：
$\displaystyle FPR=\frac{FP}{FP+TN}$FPR=FP+TNFP​
则有ROC曲线：

（本图来源《机器学习》周志华）

二、回归器评价指标

1、均方误差（mean-square error, MSE）

$\displaystyle MES\left( y,\widehat{y_{i}}\right) =\frac{1}{m}\left( y_{i} -\widehat{y_{i}}\right)^{2}$MES(y,yi​​)=m1​(yi​−yi​​)2

2、最大误差（max_error）：

$\displaystyle max_{-} error=max\left( |y_{i} -\widehat{y_{i}} |\right)$max−​error=max(∣yi​−yi​​∣)

3、平均绝对误差(mean_absolute_error)

$\displaystyle MES\left( y,\widehat{y_{i}}\right) =\frac{1}{m} |y_{i} -\widehat{y_{i}} |$MES(y,yi​​)=m1​∣yi​−yi​​∣