quadratic weighted kappa计算公式

标题:quadratic weighted kappa计算公式

提要:最近准备参加一个MICCAI举办的人工智能医疗图像比赛,是关于病情分类的,然后里面要求的评价标准是这个quadratic weighted kappa。找遍了网上都没有找到关于这个quadratic weighted kapa的计算公式中文介绍,所以在自己懂了之后,就来写下来,供后人参考。

kappa分为简单kappa(simple kappa)和加权kappa(weighted kappa),因为关于简单kappa的文章有很多,我就不讲了,直接讲一下quadratic weighted kappa的计算公式。

quadratic weighted kappa计算公式
上面是quadratic weighted kappa的计算公式,其中N为分类的总类数(比如我那个比赛病情等级分为0~5,那我的N = 6)。

直接用个例子给大家演示一下计算过程
quadratic weighted kappa计算公式
quadratic weighted kappa计算公式
对于那个E(i,j),根据上表会算出这样一个E的表格
quadratic weighted kappa计算公式
比如说原表中a的位置是(1,1),那么E表同样a的位置 E(1,1)= 第一行总个数 * 第一列总个数 / 数据总个数 = 26 * 24 / 39 = 16

即E表的公式为 E(i , j) = total(i) * total(j) / 总个数。

按这个公式就可以求出整个E表,然后计算quadratic weighted kappa

k = 1 - (0 * 22 + 1 * 2 + 1 * 4 + 0 * 13) / ( 0 *16 + 1 * 8 + 1 * 10 + 0 * 5) = 1 - 6 / 18 = 0.67

引用:文章的例子与部分公式参考于一下这篇博客