# 接受按群組劃分的評估資料前，如何檢查類別涵蓋情形

若相關案例在切分訓練與測試資料時必須留在一起，就放進同一群組。群組可以是對話、客戶或評估所定義的其他單位。選擇切分方法前，記下每個測試折需要哪些類別及最低筆數。類別齊全和筆數完全平衡是不同的要求。

## 檢查實際切分結果

儲存群組與折的分配關係，並計算每個測試折的各類別筆數。分別確認群組是否保持完整，以及必要類別是否齊全。如果缺少必要類別，先暫緩採用，看看重新分配完整群組能否達到要求。

在有 24 列的虛構範例中，scikit-learn 1.7.2 的 `StratifiedGroupKFold` 在關閉洗牌的情況下切成三個折。一組數字群組 ID 得到 (4, 2)、(4, 6) 和 (4, 4) 的類別筆數配對。反轉 ID 順序後變成 (4, 6)、(4, 0) 和 (4, 6)，資料列、標籤和群組歸屬都沒變。第一個結果的類別齊全，但筆數並未完全平衡。第二個結果兩項都沒達到。這個範例有完全平衡的 (4, 4) 分配方式。

## 確認要求是否可達成

如果兩個折都必須涵蓋每個類別，各類別至少要出現在兩個獨立群組中。查看每個類別屬於哪些群組，確認兩個折能不能同時涵蓋所有類別。

在兩個各有 12 列的獨立範例中，每個類別出現在兩個群組，每個群組有兩列。每個類別的兩個群組因此要分到不同折。六組配對形成環狀時，交替分配群組就可行。若形成兩個三角形，每個三角形的三個群組中，任兩組都必須分到不同折。因此每個三角形都會缺少類別。列舉分配到兩個具名且非空的折的全部 62 種方式，環狀有兩種方式能完整涵蓋，兩個三角形則沒有。

## 選擇符合固定條件的補救方式

在兩個三角形的範例中，切分後的第一個折缺少類別 5，第二個折缺少類別 1。如果現有群組的分配固定，兩個各自獨立的新群組可以分別補足缺少的類別。一個完整的群組只能進入一個測試折。

如果現有群組可以移動，可能只需要一個新群組。範例中，15 種可能的雙類別組合有九種可行。每種都包含兩個三角形各一個類別。四種至少要移動一個原有群組，其餘五種至少要移動三個。收集新群組前，請確認實際包含哪些類別，以及評估允許哪些移動。

記錄採用的分配、各折筆數，以及確認群組未被拆散的方式。如果案例清單變更，為評估建立新版本。涵蓋檢查確認指定的筆數與歸屬。其他驗收條件也要檢查，包括案例是否能代表預期用途。

[scikit-learn 的群組交叉驗證](https://scikit-learn.org/1.7/modules/cross_validation.html#cross-validation-iterators-for-grouped-data)

[下載重現指令碼與儲存的結果（ZIP）](https://sapien1.com/research/check-grouped-evaluation-splits-evidence/grouped-evaluation-replay.zip)
