# 比较宏平均 F1 前要检查什么

宏平均 F1 给参与平均的每个类别分数相同的权重。用它选分类模型前，请记录样本 ID、标签版本和计分设置。用 scikit-learn 1.7.2 和虚构数据做的三次测试表明，同样的预测结果可能得到不同的排名。 [scikit-learn 中 F1 的定义和选项](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**用细分程度相同的标签比较分数。** 对于标注为退款、发票或登录的九个客服案例，B 以 0.778 对 0.556 领先。把退款和发票归为账单类后，A 的四个错误预测变成了对账单类的正确预测。B 的两个错误仍然是把案例分到了其他类别。此时 A 以 1.000 对 0.750 领先。如果需要比较不同标签版本下的分数，请保留标签对应关系，并在同样的细分程度下重新给两个系统计分。如果任务仍需要区分这些标签，就保留原始标签和预测。

**检查每次平均计算纳入哪些类别。** 另一组样本的参考标签中没有欺诈案例。A 有一次预测为欺诈，因此该类别的 F1 有定义，值为零。B 的参考标签和预测中都没有欺诈。从数据推断类别时，B 按两个类别计算得 0.667，A 按三个类别计算得 0.600。明确列出三个类别并把未定义的 F1 按零计入后，B 的分数降到 0.444。采用相同的类别清单，但把未定义的 F1 排除在平均计算之外，B 的分数回到 0.667。记录计划使用的类别清单、未定义分数的处理规则、每个类别的参考标签数和预测数，以及实际计入平均的类别数。

**说明是合并样本计分，还是先分组计分再取平均。** 有两个均衡的分组，每组八个样本。先按组计算宏平均 F1，再对两组分数取平均，A 以 0.600 对 0.564 领先。将全部 16 个预测一起计分后，B 以 0.625 对 0.600 领先。如果各组样本数相同，等权平均和按样本数加权的平均结果相同。合并样本后，每个类别的分数使用真正例、假正例和假负例的总数。报告合并结果时，先加总这些计数，再算各类别的 F1。按组报告时，列出各组的分数和权重。

保存分数时，也请保存标签对应表的版本和混淆矩阵中每个类别的计数。如果不同报告的设置不同，请用相同的样本清单、标签细分程度、未定义分数处理规则和汇总方法重新给两个系统计分，再解读排名。

[下载复现脚本和已保存的结果（ZIP）](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
