# 選擇模型前，如何檢查交叉驗證的 AUROC

先確定需要做什麼比較。它是否涵蓋所有必需的測試折？該給每折相同權重，還是給每組可比較的樣本配對相同權重？如果分數來自各自訓練的模型，請確認評估能否跨折比較這些分數。

## 確認每個必要的折都有分數

計算二元分類的 AUROC 時，請核對每個測試折的正例與負例筆數。保留已計分的驗證案例 ID、各候選模型每折的分數，以及執行時的警告。

在一個用十筆案例做網格搜尋的虛構範例中，兩個折都有正負例，第三個折只有負例。scikit-learn 1.7.2 發出警告，並在第三折對兩個候選模型都傳回 NaN。兩個平均分數都是 NaN，兩個候選模型都排第 1。即使設定 `error_score="raise"`，搜尋仍會重新訓練清單上的第一個候選模型。顛倒清單順序會改變選擇結果。

另做一次診斷，只用分數有定義的兩個折，A 的平均分數是 1.00，B 是 0.375。兩種順序都選到 A。如果報告這項診斷，請說明驗證範圍縮小了。用搜尋結果選模型前，先處理原本必需的測試折涵蓋問題。

## 檢查各折分數的加權方式

對未加權的二元分類 AUROC 來說，有 p 個正例和 n 個負例的測試折共有 p × n 組正負配對。折內 AUROC 衡量正例分數比負例高的比例，同分算半分。直接平均各折時，每折權重相同。依折內配對加權時，每組符合條件的配對權重相同。

在另一個虛構範例中，兩個折各有六筆資料。折 1 有一個正例和五個負例，因此提供五組配對。折 2 正負各三筆，提供九組配對。A 得到 5/5 和 4/9。B 得到 2/5 和 8/9。

| 計算方式 | A | B | 分數較高者 |
| --- | --- | --- | --- |
| 每折權重相同 | 13/18 | 29/45 | A |
| 每組折內配對的權重相同 | 9/14 | 10/14 | B |

在這個比較中，折 1 的權重為 20/47 時，兩者同分。各折權重相同時，折 1 的權重比這更高。依配對加權時，這一折的權重是 5/14，B 因此領先。兩種算法都計算折內的比較。

## 確認合併計分需要哪些前提

先合併預測結果，也會比較來自不同折的正例和負例。在第三個範例中，A 在每折得 3/4，B 在每折得 2/4。原先合併的分數是 A 得 13/16、B 得 11/16。給 A 在第二折的分數加上常數，兩折各自的排序都維持原樣，但 A 的合併分數跌到 10/16。B 維持 11/16，原本的比較結果反轉。

如果想知道每個保留來測試的折內排名，請報告各折分數和所選的權重。若合併預測結果，請記下為什麼各自訓練的模型分數可以相比。一起保留折分配、類別筆數、分數欄位、彙整規則和選擇結果，讓另一位審查者能重現比較。

三個範例都使用虛構分數。 [scikit-learn 的交叉驗證預測](https://scikit-learn.org/1.7/modules/generated/sklearn.model_selection.cross_val_predict.html) · [交叉驗證結果彙整研究](https://kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf)

[下載重現指令碼與儲存的結果（ZIP）](https://sapien1.com/research/audit-cross-validation-auroc-evidence/cross-validation-auroc-replay.zip)
