Исследования
Как проверить покрытие классов перед принятием разбиения по группам
Оставляйте связанные примеры в одной группе, если при разделении на обучение и тест они должны оставаться вместе. Группой может быть разговор, клиент или другая единица оценки. Перед выбором метода запишите обязательные классы и минимальные количества для каждого тестового блока. Наличие всех классов и точный баланс — разные требования.
Проверьте полученное разбиение
Сохраните назначение групп по блокам и посчитайте примеры каждого класса в каждом тестовом блоке. Отдельно проверьте целостность групп и покрытие классов. Если обязательного класса нет, отложите принятие разбиения и проверьте, удовлетворит ли требование другая раскладка целых групп.
В вымышленном примере из 24 строк StratifiedGroupKFold из scikit-learn 1.7.2 использовал три блока без перемешивания. Один набор числовых идентификаторов групп дал пары количеств (4, 2), (4, 6) и (4, 4). При обратном порядке идентификаторов вышло (4, 6), (4, 0) и (4, 6), хотя строки, метки и принадлежность к группам остались прежними. Первый результат охватывает все классы, но не даёт точного баланса. Второй не выполняет ни одного требования. Точная раскладка с (4, 4) в примере была возможна.
Проверьте, выполнимо ли требование
Чтобы все классы попали в оба блока, каждый класс должен присутствовать хотя бы в двух независимых группах. Проверьте принадлежность классов к группам и выясните, могут ли все классы одновременно присутствовать в обоих блоках.
В двух отдельных примерах по 12 строк каждый класс встречается в двух группах, и в каждой группе по две строки. Две группы каждого класса должны попасть в разные блоки. Если шесть пар образуют цикл, работает чередование блоков. Если пары образуют два треугольника, в каждом из них любая пара из трёх групп должна была бы оказаться в разных блоках. В каждом треугольнике неизбежен пропуск. Среди всех 62 назначений в два именованных непустых блока полное покрытие дают два назначения для цикла и ни одного для треугольников.
Выберите исправление с учётом ограничений
В примере с двумя треугольниками в первом полученном блоке нет класса 5, а во втором класса 1. Если существующее назначение фиксировано, две новые независимые группы могут по отдельности закрыть эти пропуски. Целая группа может попасть только в один тестовый блок.
Если существующие группы можно перемещать, может хватить одной новой. В примере работают девять из 15 возможных сочетаний двух классов. В каждом есть по классу из каждого треугольника. Для четырёх сочетаний нужно переместить хотя бы одну исходную группу, а для остальных пяти — хотя бы три. До сбора новой группы проверьте, какие классы в ней есть и какие перемещения допускает оценка.
Запишите принятое назначение, количества по блокам и способ проверки целостности групп. При изменении списка случаев задайте новую версию оценки. Проверка покрытия подтверждает заданные количества и принадлежность. Проверьте и другие условия, в том числе соответствие случаев предполагаемому применению.