分类算法评价指标

痞子三分冷 提交于 2019-12-04 14:43:26

1. 准确率/召回率/f1分数

2. Auc(一般用于二分类)

3. kappa系数(一般用于多分类)

3.1 简单kappa(simple kappa)

 Kappa系数用于一致性检验,代表着分类与完全随机的分类产生错误减少的比例,kappa系数的计算是基于混淆矩阵的。

kappa计算结果为-1~1,但通常kappa是落在 0~1 间。实践证明,它是一个描述一致性的较为理想的指标。

第一种分析准则:

kappa=1 两次判断完全一致
kappa>=0.75 比较满意的一致程度
kappa<0.4 不够理想的一致程度

第二种分析准则:

0.0~0.20极低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1几乎完全一致(almost perfect)

3.2 加权kappa(weighted kappa)

加权kappa分为linear weighted kappa 和 quadratic weighted kappa。

不同加权kappa系数的选择取决于数据集中不同class之间差异的意义。

例如对于眼底图像识别的数据,class=0为健康,class=4为疾病晚期非常严重,所以对于把class=0预测成4的行为所造成的惩罚应该远远大于把class=0预测成class=1的行为,使用quadratic的话0->4所造成的惩罚就等于16倍的0->1的惩罚。如下图是一个四分类的两个计算方法的比较。

(1)linear weighted kappa

(2)quadratic weighted kappa

计算原理:https://www.kaggle.com/c/data-science-bowl-2019/overview/evaluation

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!