研究
如何在选择模型前检查交叉验证的 AUROC
先明确需要做什么比较。它是否覆盖了所有必需的测试折?每一折应有相同权重,还是每个可比样本对应该有相同权重?如果分数来自分别训练的模型,请判断评估是否支持跨折比较。
确认每个必需的折都有分数
计算二分类 AUROC 时,核对每个测试折中的正例数和负例数。保存已计分的验证样本 ID、每个候选模型在各折中的分数和运行时的警告。
在一个用十个样本做网格搜索的虚构示例中,两个折都有正负样本,第三个折只有负例。scikit-learn 1.7.2 发出警告,并对第三折的两个候选模型都返回 NaN。两个平均分都是 NaN,候选模型都排第 1。即使设置 error_score="raise",搜索也会重新训练第一个候选模型。颠倒候选顺序会改变选择结果。
另做一次诊断,只用分数有定义的两个折,A 的平均分是 1.00,B 的是 0.375。两种顺序都选中 A。如果报告这项诊断,请说明验证范围缩小了。用搜索结果选模型前,先解决原先必需的测试折覆盖问题。
检查各折分数如何加权
对于不加权的二分类 AUROC,含 p 个正例和 n 个负例的测试折共有 p × n 个正负样本对。折内 AUROC 表示正例得分更高的频率,同分计半分。按折求平均时,每一折权重相同。按折内样本对加权时,每个符合条件的样本对权重相同。
在另一个虚构示例中,两折各有六行。折 1 有一个正例和五个负例,所以贡献五对。折 2 每类各有三个样本,贡献九对。A 的分数是 5/5 和 4/9。B 的分数是 2/5 和 8/9。
| 计算方法 | A | B | 得分较高者 |
|---|---|---|---|
| 每折等权 | 13/18 | 29/45 | A |
| 折内每对样本等权 | 9/14 | 10/14 | B |
在这个比较中,折 1 的权重为 20/47 时,两者分数相同。各折等权时,折 1 得到更高的权重。按样本对加权时,它的权重为 5/14,B 领先。两种算法都只统计折内比较。
检查汇总计分的前提
先合并预测结果,也会比较来自不同折的正例和负例。在第三个示例中,A 在每折都得 3/4,B 在每折都得 2/4。初始汇总分数为 A 得 13/16、B 得 11/16。给 A 在第二折的分数加上一个常数,两折各自的样本顺序都不变,但 A 的汇总分数降到 10/16。B 仍是 11/16,比较结果因而反转。
如果要比较各个留出测试折内部的排序,请报告各折分数和所选权重。如果合并预测,请记录为什么不同训练结果的分数尺度可比。保留折分配、类别计数、分数列、汇总规则和选择结果,方便另一位审核者复现比较。
三个示例均使用虚构分数。 scikit-learn 的交叉验证预测 · 关于汇总交叉验证结果的研究