大数据案例分析学习笔记1.5（一致性的评价方法）

什么是一致性评价？

一致性评价： 指对两个或多个相关的变量进行分析，从而衡量其相关性的密切程度

一致性评价——皮尔森相关系数法（pearson）

皮尔森相关系数的应用背景：
1、用来衡量两个用户之间兴趣的一致性
2、用来衡量预测值与真实值之间的相关性
3、既适用于离散的，也适用于连续变量的相关分析

取值区间为[-1,1]。-1是完全负相关，+1表示完全正相关，0表示没有线性相关

一致性评价——Cohen’s kappa相关系数

一、
Cohen’s kappa相关系数也可用于衡量两个评价者之间的一致性。其特点在于：

• 与皮尔森相关系数的区别：Cohen’s kappa相关系数通常用于离散的分类的一致性评价
• 其通常被认为比两人之间的简单一致性百分比更强壮，因为Cohen’s kappa考虑到了二人之间的随机一致的可能性
• 如果评价者多于2认时，可以考虑使用Fleiss’kappa

二、Cohen’s kappa计算方法

Cohen’s kappa取值的含义

kappa score是一个介于-1到+1之间的数
+1表示结果完全一致
-1表示结果完全不一致
大于等于0.8表示已经取得相当满意的一致程度
小于0.4表示一致程度不够理想
0或更低表示不一致

Fleiss’s kappa

衡量多于2人评价者的一致性