跳至主要内容

菜单

研究

比较宏平均 F1 前要检查什么

语言: 简体中文

宏平均 F1 给参与平均的每个类别分数相同的权重。用它选分类模型前,请记录样本 ID、标签版本和计分设置。用 scikit-learn 1.7.2 和虚构数据做的三次测试表明,同样的预测结果可能得到不同的排名。 scikit-learn 中 F1 的定义和选项

用细分程度相同的标签比较分数。 对于标注为退款、发票或登录的九个客服案例,B 以 0.778 对 0.556 领先。把退款和发票归为账单类后,A 的四个错误预测变成了对账单类的正确预测。B 的两个错误仍然是把案例分到了其他类别。此时 A 以 1.000 对 0.750 领先。如果需要比较不同标签版本下的分数,请保留标签对应关系,并在同样的细分程度下重新给两个系统计分。如果任务仍需要区分这些标签,就保留原始标签和预测。

检查每次平均计算纳入哪些类别。 另一组样本的参考标签中没有欺诈案例。A 有一次预测为欺诈,因此该类别的 F1 有定义,值为零。B 的参考标签和预测中都没有欺诈。从数据推断类别时,B 按两个类别计算得 0.667,A 按三个类别计算得 0.600。明确列出三个类别并把未定义的 F1 按零计入后,B 的分数降到 0.444。采用相同的类别清单,但把未定义的 F1 排除在平均计算之外,B 的分数回到 0.667。记录计划使用的类别清单、未定义分数的处理规则、每个类别的参考标签数和预测数,以及实际计入平均的类别数。

说明是合并样本计分,还是先分组计分再取平均。 有两个均衡的分组,每组八个样本。先按组计算宏平均 F1,再对两组分数取平均,A 以 0.600 对 0.564 领先。将全部 16 个预测一起计分后,B 以 0.625 对 0.600 领先。如果各组样本数相同,等权平均和按样本数加权的平均结果相同。合并样本后,每个类别的分数使用真正例、假正例和假负例的总数。报告合并结果时,先加总这些计数,再算各类别的 F1。按组报告时,列出各组的分数和权重。

保存分数时,也请保存标签对应表的版本和混淆矩阵中每个类别的计数。如果不同报告的设置不同,请用相同的样本清单、标签细分程度、未定义分数处理规则和汇总方法重新给两个系统计分,再解读排名。