1. 如何评估机器学习算法的性能指标？

分类问题

 

精确率
精确率（precision）是指模型预测为真，实际也为真的样本数量占模型预测所有为真的样本数量的比例。

举例来说明，比如警察要抓小偷，抓了 10 个人，其中有 6 个人是小偷，那么精确率就是 6/10 = 0.6。

召回率
召回率（recall）有时候也叫查全率，是指模型预测为真，实际也为真的样本数量占实际所有为真的样本数量的比例。

举例来说明，还是上面的警察抓小偷的例子，抓了 10 个人，其中 6 个人是小偷，还有另外 3 个小偷逃之夭夭，那么召回率就是 6 / ( 6 + 3) ≈ 0.67。

F1值/Fα值
一般来说，精确率和召回率是互斥的，也就是说精确率高的话，召回率会变低；召回率高的话，精确率会变低。所以设计了一个同时考虑精确率和召回率的指标 F1值。F1值是精确率和召回率的调和平均，即

在某些场景下，我们对精确率与召回率的关注程度不一样，这时候，F1值更一般的形式Fα值就能够满足。Fα值定义如下

其中，α 的大小表示召回率对精确率的相对重要程度。

多分类的情况

很多时候我们遇到的是多分类问题，这就意味着每两两类别的组合都对应一个二元的混淆矩阵。假设得到了 n 个二分类的混淆矩阵，那如何来平均这 n 个结果呢？

宏平均

第一种办法就是先在各个混淆矩阵中分别计算出结果，再计算平均值，这种方式称为“宏平均”。

微平均

除了上面的宏平均之外，我们也可以将二元混淆矩阵的对应的元素进行平均，得到 TP、TN、FP、FN 的平均值，然后再根据这些平均值来计算，这种方式称为“微平均”。

回归问题

2. 什么是ROC曲线？

在认识机器学习算法的常用评估指标之前，先明确一下几个概念的定义：

TP(True Positive)：实际正样本，预测为正样本
FP(False Positive)：实际负样本，预测为正样本
TN(True Negative)：实际负样本，预测为负样本
FN(False Negative)：实际正样本，预测为负样本

上述四个概念的混淆矩阵：

可以发现，TPR和Recall的计算公式是一样的。那么如何绘制ROC曲线呢？可以看到，ROC曲线是由一系列 (FPR, TPR)点构成的，但一个特定的模型，只得到一个分类结果，即只有一组 (FPR, TPR)，对应ROC曲线上的一个点，如何得到多个呢？

我们将模型对所有样本的预测值（属于正类的概率值）降序排列，然后依次将预测的概率值作为阈值，每次得到该阈值下模型预测结果为正类、负类的样本数，然后生成一组 (FPR, TPR) 值，这样就可以得到ROC曲线上的一点，最后将所有的点连接起来就出现了ROC曲线。很明显，阈值设置的次数越多，就会生成更多的 (FPR, TPR) 值，画出的ROC曲线也就越光滑。也就是说 ROC曲线的光滑程度与阈值设置次数的多少有绝对的关系，与样本数量没有必然联系。现实中，我们画出的 ROC 曲线多数都是不光滑的。