Chi-squared test(卡方检验/χ2检验)
1. Chi-squared test(卡方检验/χ2检验)
1.1 概念
χ2检验是对分类数据的频数进行分析的统计方法。(统计学第六版 中国人女大学出版社 P216)
卡方检验是用途非常广的一种假设检验方法,它在分类资料统计推断中的应用,包括:两个率或两个构成比比较的卡方检验;多个率或多个构成比比较的卡方检验以及分类资料的相关分析等。
1.2 用处
卡方检验就是统计样本的实际观测值与理论推断值之间的偏离程度,实际观测值与理论推断值之间的偏离程度就决定卡方值的大小,卡方值越大,越不符合;卡方值越小,偏差越小,越趋于符合,若两个值完全相等时,卡方值就为0,表明理论值完全符合。
1.3 细节
观测数组和期望数组的和保持一致时,卡方检验才有意义,sparkmllib源码中会计算观测/期望的系数;然后将期望数组*系数。观测数组和期望数组长度相同且都为正值。
1.4 F值公式
1.5 P值计算
org.apache.spark.mllib.stat. Statistics.chiSqTest
1.6 MLlib算法
Spark mllib给出了Pearson'schi-squared test算法
org.apache.spark.mllib.stat.Statistics. chiSqTest