# 如何在选择模型前检查交叉验证的 AUROC

先明确需要做什么比较。它是否覆盖了所有必需的测试折？每一折应有相同权重，还是每个可比样本对应该有相同权重？如果分数来自分别训练的模型，请判断评估是否支持跨折比较。

## 确认每个必需的折都有分数

计算二分类 AUROC 时，核对每个测试折中的正例数和负例数。保存已计分的验证样本 ID、每个候选模型在各折中的分数和运行时的警告。

在一个用十个样本做网格搜索的虚构示例中，两个折都有正负样本，第三个折只有负例。scikit-learn 1.7.2 发出警告，并对第三折的两个候选模型都返回 NaN。两个平均分都是 NaN，候选模型都排第 1。即使设置 `error_score="raise"`，搜索也会重新训练第一个候选模型。颠倒候选顺序会改变选择结果。

另做一次诊断，只用分数有定义的两个折，A 的平均分是 1.00，B 的是 0.375。两种顺序都选中 A。如果报告这项诊断，请说明验证范围缩小了。用搜索结果选模型前，先解决原先必需的测试折覆盖问题。

## 检查各折分数如何加权

对于不加权的二分类 AUROC，含 p 个正例和 n 个负例的测试折共有 p × n 个正负样本对。折内 AUROC 表示正例得分更高的频率，同分计半分。按折求平均时，每一折权重相同。按折内样本对加权时，每个符合条件的样本对权重相同。

在另一个虚构示例中，两折各有六行。折 1 有一个正例和五个负例，所以贡献五对。折 2 每类各有三个样本，贡献九对。A 的分数是 5/5 和 4/9。B 的分数是 2/5 和 8/9。

| 计算方法 | A | B | 得分较高者 |
| --- | --- | --- | --- |
| 每折等权 | 13/18 | 29/45 | A |
| 折内每对样本等权 | 9/14 | 10/14 | B |

在这个比较中，折 1 的权重为 20/47 时，两者分数相同。各折等权时，折 1 得到更高的权重。按样本对加权时，它的权重为 5/14，B 领先。两种算法都只统计折内比较。

## 检查汇总计分的前提

先合并预测结果，也会比较来自不同折的正例和负例。在第三个示例中，A 在每折都得 3/4，B 在每折都得 2/4。初始汇总分数为 A 得 13/16、B 得 11/16。给 A 在第二折的分数加上一个常数，两折各自的样本顺序都不变，但 A 的汇总分数降到 10/16。B 仍是 11/16，比较结果因而反转。

如果要比较各个留出测试折内部的排序，请报告各折分数和所选权重。如果合并预测，请记录为什么不同训练结果的分数尺度可比。保留折分配、类别计数、分数列、汇总规则和选择结果，方便另一位审核者复现比较。

三个示例均使用虚构分数。 [scikit-learn 的交叉验证预测](https://scikit-learn.org/1.7/modules/generated/sklearn.model_selection.cross_val_predict.html) · [关于汇总交叉验证结果的研究](https://kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf)

[下载复现脚本和已保存的结果（ZIP）](https://sapien1.com/research/audit-cross-validation-auroc-evidence/cross-validation-auroc-replay.zip)
