跳至主要内容

菜单

研究

接受按组划分的评估集前,如何检查类别覆盖

语言: 简体中文

如果相关样本在训练集和测试集的划分中必须留在一起,就把它们放在同一组。组可以是对话、客户或评估定义的其他单位。选择划分方法前,先记录每个测试折必须包含哪些类别,以及最低数量要求。类别齐全和数量完全均衡是两个不同的要求。

检查实际生成的划分

保存组与折的对应关系,并统计每个测试折中各类别的数量。分别检查组是否保持完整,以及必要的类别是否齐全。如果缺少必需类别,请暂缓采用该划分,检查重新分配完整的组能否满足要求。

在一个有 24 行的虚构示例中,scikit-learn 1.7.2 的 StratifiedGroupKFold 在不打乱数据的情况下生成三个折。一套数字组 ID 得到的类别计数对是 (4, 2)、(4, 6) 和 (4, 4)。反转 ID 后得到 (4, 6)、(4, 0) 和 (4, 6),行、标签和分组归属都没有变化。第一种结果类别齐全,但数量并不完全均衡。第二种两项都不满足。这个示例可以做到完全均衡的 (4, 4) 分配。

检查能否达到要求

如果两个折都必须包含全部类别,每个类别至少要出现在两个相互独立的组里。根据类别与组的对应关系,检查所有类别能否同时出现在两个折中。

在两个各有 12 行的独立示例中,每个类别出现在两个组里,每组有两行。因此,每个类别对应的两个组必须去不同的折。如果六对组连成一个环,就可以交替分配。如果它们组成两个三角形,每个三角形的三个组中,任意两个都要分到不同的折。于是每个三角形都必然缺少类别。枚举分配到两个具名非空折的全部 62 种方式,环有两种实现完整覆盖的方法,两个三角形则没有。

选择符合固定条件的补救办法

在两个三角形的示例中,生成的第一个折缺少类别 5,第二个折缺少类别 1。如果现有组的分配固定,可以用两个相互独立的新组分别补齐缺口。一个完整的组只能进入一个测试折。

如果现有组能移动,一个新组就可能够用。在示例中,15 种可能的双类别组合里有九种可行。每种都从两个三角形中各包含一个类别。四种需要至少移动一个原有组,其余五种至少移动三个。收集新组前,检查它实际包含哪些类别,以及评估允许移动哪些组。

记录接受的分配、各折的计数,以及如何检查组没有被拆分。如果案例清单变了,就给评估创建一个新版本。覆盖检查确认的是规定的计数和归属。还要检查其他验收条件,包括案例是否代表预期用途。

scikit-learn 的按组交叉验证