目标检测指标性能评价(IOU,mAP等)

定位准确率

IOU

定位准确率可以通过检测窗口与我们自己标记的物体窗口的重叠度,即交并比,即Intersection-Over-Union(IOU)进行度量。设标记窗口为 A ,检测窗口为 B ,则 IOU 的计算公式如下:
IOU=ABAB IOU=\frac{A\bigcap B}{A\bigcup B}
其中分子部分表示 A 与 B 窗口的重叠部分面积,分母部分表示 A 与 B
窗口的面积总和。显而易见,IOU 的值在[0,1]之间,同时 IOU 越接近 1
表示两个窗口重叠部分越多,定位准确度也就越好,反之则越差。

识别精度

算法对样本进行分类时,都会有置信度,即表示该样本是正样本的概率,比如99%的概率认为样本A是正例,1%的概率认为样本B是正例。通过选择合适的阈值,比如50%,对样本进行划分,概率大于50%的就认为是正例,小于50%的就是负例。

假设分类目标只有两类,计为正例(positive)和负例(negtive)分别是:
1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数);
2)False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数;
3)False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数;
4)True negatives(TN): 被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数。

预测类别
YES(Positive) NO(Negative) 总计
实际类别 YES(Ture) TP FN P(实际为YES)
NO(False) FP TN N(实际为NO)
总计 P’(被分为YES) N’被分为NO P+N

precision

precision,即精确率、精度查准率,计算公式为:预测为正实际为正 / 预测为正,希望所有的预测中都是正样本,该值越大越好,1为理想状态:
precision=TP/(TP+FP);

recall

recall,即召回率查全率,计算公式为:预测为正实际为正 / 所有正样本数,希望拿到全的正样本,该值越大越好,1为理想状态:
Recall=TP/(TP+FN)=TP/P;

accuracy

accuracy,即准确率,所有预测结果与实际结果一样的样本/所有样本:
accuracy=\frac{TP+TN}{TP+TN+FP+FN}

F1-score(F值)

F值 = 正确率 * 召回率 * 2 / (正确率 + 召回率)
为了解决准确率和召回率冲突问题,引入了F1分数,将precision 和recall合成一个指标,越大越好。

AP

AP, 即 Average Precision即平均精确度。AP通常用于计算平均的检测精度,用于衡量检测器在每个类别上的性能好坏。

mAP

mAP,即Mean Average Precision,即平均AP值,是对多个验证集个体求平均AP值,作为 object dection中衡量检测精度的指标。

P-R曲线

P-R曲线,即以precision和recall作为纵、横轴坐标的二维曲线。越凸越右上方效果越好。通过选取不同阈值时对应的精度和召回率画出总体趋势,精度越高,召回越低,当召回达到1时,对应概率分数最低的正样本,这个时候正样本数量除以所有大于等于该阈值的样本数量就是最低的精度值。P-R曲线围起来的面积就是AP值,面积越大,识别精度也就越高,AP值越高,反之越低。
目标检测指标性能评价(IOU,mAP等)
根据逐个样本作为阈值划分点的方法,可以推敲出,recall值是递增的(但并非严格递增),随着阈值越来越小,正例被判别为正例的越来越多,不会减少。而精确率precision并非递减,有可能是振荡的,虽然正例被判为正例的变多,但负例被判为正例的也变多了,因此precision会振荡,但整体趋势是下降。一般来说,precision和recall是鱼与熊掌的关系,往往召回率越高,准确率越低。
在不考虑预测样本量为0的情况下:
如果最前面几个点都是负例,那么曲线会从(0,0)点开始逐渐上升,随着阈值越来越小,precision初始很接近1,recall很接近0,因此有可能从(0,0)上升的线和坐标重合,不易区分。
如果最前面几个点都是正例,那么曲线会从(0,1)逐渐下降。
曲线最终不会到(1,0)点。很多P-R曲线的终点看着都是(1,0)点,这可能是因为负例远远多于正例。

在目标检测中,每一类都可以根据 recall 和 precision绘制P-R曲线,AP就是该曲线下的面积,mAP就是所有类AP的平均值。

FP Rate(FPR)

false positive占整个negative的比例,就是说原本是negative 预测为positive的比例,越小越好。

TP Rate(TPR):

true positive 占整个positive 的比例。

AUC

ROC曲线

简单易于理解的例子
某池塘有1400条鲤鱼,300只虾,300只鳖。现在以捕鲤鱼为目的。撒一大网,逮着了700条鲤鱼,200只虾,100只鳖。那么,这些指标分别如下:
精确率 = 700 / (700 + 200 + 100) = 70%
召回率 = 700 / 1400 = 50%
F1值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看,如果把池子里的所有的鲤鱼、虾和鳖都一网打尽,这些指标又有何变化:
正确率 = 1400 / (1400 + 300 + 300) = 70%
召回率 = 1400 / 1400 = 100%
F1值 = 70% * 100% * 2 / (70% + 100%) = 82.35%
随着召回率增大,精度

速度

除了检测准确度,目标检测算法的另外一个重要性能指标是速度,只有速度快,才能实现实时检测,这对一些应用场景极其重要。评估速度的常用指标是每秒帧率(Frame Per Second,FPS),即每秒内可以处理的图片数量

题目

下面有关分类算法的准确率,召回率,F1 值的描述,错误的是? C
准确率是检索出相关文档数与检索出的文档总数的比率,衡量的是检索系统的查准率 A
召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率,衡量的是检索系统的查全率 B
正确率、召回率和 F 值取值都在0和1之间,数值越接近0,查准率或查全率就越高 C
为了解决准确率和召回率冲突问题,引入了F1分数 D

参考:
https://blog.****.net/b876144622/article/details/80009867
https://blog.****.net/linchunmian/article/details/79644300