研究
接受按群組劃分的評估資料前,如何檢查類別涵蓋情形
若相關案例在切分訓練與測試資料時必須留在一起,就放進同一群組。群組可以是對話、客戶或評估所定義的其他單位。選擇切分方法前,記下每個測試折需要哪些類別及最低筆數。類別齊全和筆數完全平衡是不同的要求。
檢查實際切分結果
儲存群組與折的分配關係,並計算每個測試折的各類別筆數。分別確認群組是否保持完整,以及必要類別是否齊全。如果缺少必要類別,先暫緩採用,看看重新分配完整群組能否達到要求。
在有 24 列的虛構範例中,scikit-learn 1.7.2 的 StratifiedGroupKFold 在關閉洗牌的情況下切成三個折。一組數字群組 ID 得到 (4, 2)、(4, 6) 和 (4, 4) 的類別筆數配對。反轉 ID 順序後變成 (4, 6)、(4, 0) 和 (4, 6),資料列、標籤和群組歸屬都沒變。第一個結果的類別齊全,但筆數並未完全平衡。第二個結果兩項都沒達到。這個範例有完全平衡的 (4, 4) 分配方式。
確認要求是否可達成
如果兩個折都必須涵蓋每個類別,各類別至少要出現在兩個獨立群組中。查看每個類別屬於哪些群組,確認兩個折能不能同時涵蓋所有類別。
在兩個各有 12 列的獨立範例中,每個類別出現在兩個群組,每個群組有兩列。每個類別的兩個群組因此要分到不同折。六組配對形成環狀時,交替分配群組就可行。若形成兩個三角形,每個三角形的三個群組中,任兩組都必須分到不同折。因此每個三角形都會缺少類別。列舉分配到兩個具名且非空的折的全部 62 種方式,環狀有兩種方式能完整涵蓋,兩個三角形則沒有。
選擇符合固定條件的補救方式
在兩個三角形的範例中,切分後的第一個折缺少類別 5,第二個折缺少類別 1。如果現有群組的分配固定,兩個各自獨立的新群組可以分別補足缺少的類別。一個完整的群組只能進入一個測試折。
如果現有群組可以移動,可能只需要一個新群組。範例中,15 種可能的雙類別組合有九種可行。每種都包含兩個三角形各一個類別。四種至少要移動一個原有群組,其餘五種至少要移動三個。收集新群組前,請確認實際包含哪些類別,以及評估允許哪些移動。
記錄採用的分配、各折筆數,以及確認群組未被拆散的方式。如果案例清單變更,為評估建立新版本。涵蓋檢查確認指定的筆數與歸屬。其他驗收條件也要檢查,包括案例是否能代表預期用途。