研究
選擇模型前,如何檢查交叉驗證的 AUROC
先確定需要做什麼比較。它是否涵蓋所有必需的測試折?該給每折相同權重,還是給每組可比較的樣本配對相同權重?如果分數來自各自訓練的模型,請確認評估能否跨折比較這些分數。
確認每個必要的折都有分數
計算二元分類的 AUROC 時,請核對每個測試折的正例與負例筆數。保留已計分的驗證案例 ID、各候選模型每折的分數,以及執行時的警告。
在一個用十筆案例做網格搜尋的虛構範例中,兩個折都有正負例,第三個折只有負例。scikit-learn 1.7.2 發出警告,並在第三折對兩個候選模型都傳回 NaN。兩個平均分數都是 NaN,兩個候選模型都排第 1。即使設定 error_score="raise",搜尋仍會重新訓練清單上的第一個候選模型。顛倒清單順序會改變選擇結果。
另做一次診斷,只用分數有定義的兩個折,A 的平均分數是 1.00,B 是 0.375。兩種順序都選到 A。如果報告這項診斷,請說明驗證範圍縮小了。用搜尋結果選模型前,先處理原本必需的測試折涵蓋問題。
檢查各折分數的加權方式
對未加權的二元分類 AUROC 來說,有 p 個正例和 n 個負例的測試折共有 p × n 組正負配對。折內 AUROC 衡量正例分數比負例高的比例,同分算半分。直接平均各折時,每折權重相同。依折內配對加權時,每組符合條件的配對權重相同。
在另一個虛構範例中,兩個折各有六筆資料。折 1 有一個正例和五個負例,因此提供五組配對。折 2 正負各三筆,提供九組配對。A 得到 5/5 和 4/9。B 得到 2/5 和 8/9。
| 計算方式 | A | B | 分數較高者 |
|---|---|---|---|
| 每折權重相同 | 13/18 | 29/45 | A |
| 每組折內配對的權重相同 | 9/14 | 10/14 | B |
在這個比較中,折 1 的權重為 20/47 時,兩者同分。各折權重相同時,折 1 的權重比這更高。依配對加權時,這一折的權重是 5/14,B 因此領先。兩種算法都計算折內的比較。
確認合併計分需要哪些前提
先合併預測結果,也會比較來自不同折的正例和負例。在第三個範例中,A 在每折得 3/4,B 在每折得 2/4。原先合併的分數是 A 得 13/16、B 得 11/16。給 A 在第二折的分數加上常數,兩折各自的排序都維持原樣,但 A 的合併分數跌到 10/16。B 維持 11/16,原本的比較結果反轉。
如果想知道每個保留來測試的折內排名,請報告各折分數和所選的權重。若合併預測結果,請記下為什麼各自訓練的模型分數可以相比。一起保留折分配、類別筆數、分數欄位、彙整規則和選擇結果,讓另一位審查者能重現比較。
三個範例都使用虛構分數。 scikit-learn 的交叉驗證預測 · 交叉驗證結果彙整研究