# 接受按组划分的评估集前，如何检查类别覆盖

如果相关样本在训练集和测试集的划分中必须留在一起，就把它们放在同一组。组可以是对话、客户或评估定义的其他单位。选择划分方法前，先记录每个测试折必须包含哪些类别，以及最低数量要求。类别齐全和数量完全均衡是两个不同的要求。

## 检查实际生成的划分

保存组与折的对应关系，并统计每个测试折中各类别的数量。分别检查组是否保持完整，以及必要的类别是否齐全。如果缺少必需类别，请暂缓采用该划分，检查重新分配完整的组能否满足要求。

在一个有 24 行的虚构示例中，scikit-learn 1.7.2 的 `StratifiedGroupKFold` 在不打乱数据的情况下生成三个折。一套数字组 ID 得到的类别计数对是 (4, 2)、(4, 6) 和 (4, 4)。反转 ID 后得到 (4, 6)、(4, 0) 和 (4, 6)，行、标签和分组归属都没有变化。第一种结果类别齐全，但数量并不完全均衡。第二种两项都不满足。这个示例可以做到完全均衡的 (4, 4) 分配。

## 检查能否达到要求

如果两个折都必须包含全部类别，每个类别至少要出现在两个相互独立的组里。根据类别与组的对应关系，检查所有类别能否同时出现在两个折中。

在两个各有 12 行的独立示例中，每个类别出现在两个组里，每组有两行。因此，每个类别对应的两个组必须去不同的折。如果六对组连成一个环，就可以交替分配。如果它们组成两个三角形，每个三角形的三个组中，任意两个都要分到不同的折。于是每个三角形都必然缺少类别。枚举分配到两个具名非空折的全部 62 种方式，环有两种实现完整覆盖的方法，两个三角形则没有。

## 选择符合固定条件的补救办法

在两个三角形的示例中，生成的第一个折缺少类别 5，第二个折缺少类别 1。如果现有组的分配固定，可以用两个相互独立的新组分别补齐缺口。一个完整的组只能进入一个测试折。

如果现有组能移动，一个新组就可能够用。在示例中，15 种可能的双类别组合里有九种可行。每种都从两个三角形中各包含一个类别。四种需要至少移动一个原有组，其余五种至少移动三个。收集新组前，检查它实际包含哪些类别，以及评估允许移动哪些组。

记录接受的分配、各折的计数，以及如何检查组没有被拆分。如果案例清单变了，就给评估创建一个新版本。覆盖检查确认的是规定的计数和归属。还要检查其他验收条件，包括案例是否代表预期用途。

[scikit-learn 的按组交叉验证](https://scikit-learn.org/1.7/modules/cross_validation.html#cross-validation-iterators-for-grouped-data)

[下载复现脚本和已保存的结果（ZIP）](https://sapien1.com/research/check-grouped-evaluation-splits-evidence/grouped-evaluation-replay.zip)
