DeLong测试 计算两个ROC曲线之间的统计意义
本人原帖首发于丁香园。
投了一篇文章,审稿意见说我给出的3个不同模型的roc曲线之间不能只比较AUC,需要看不同ROC的统计意义
问了一下别人查了半天才知道DeLong测试是什么。
看了
Genetic Variants in Fanconi Anemia Pathway Genes BRCA2 and FANCA Predict Melanoma Survival
这个文章,知道了Delong测试应该干什么用,怎么写在文章里
然后看
Comparing the Areas Under Two Correlated ROC Curves:Parametric and Non-Parametric Approaches
和
Comparing the Areas Under Two or More Correlated Receiver Operating Characteristic Curves: A Nonparametric Approach
知道意义
又听说MedCalc这个软件可以进行ROC曲线的两两比较,因此又费了好大劲装了这个软件(可以在丁香园论坛里下载安装)
因为我的模型是通过多个特征建立模型,对相应的指标进行预测,因此不能之间用软件里的ROC曲线绘制
我先用MATLAB里面svm的方法建立了模型并对结果进行预测,得到预测的分数score
把每个模型得到的预测分数和score放到MedCalc软件里面,
例如我的一个模型叫做F23,用了23个特征,另一个叫F9,用了9个特征,
A列是指标,B列是F23模型得到的预测score,C列是F9模型得到的score
选择统计-ROC曲线-ROC曲线对比
再选则变量和分类变量对应的数据
就可以得到相应的分析结果和曲线了
可以看到p=0.0039<0.05 具有统计意义