Investigación
Cómo comprobar la cobertura de clases antes de aceptar una división por grupos
Mantén juntos los ejemplos relacionados si deben quedar en el mismo lado de la división entre entrenamiento y prueba. Los grupos pueden ser conversaciones, clientes u otras unidades de la evaluación. Antes de elegir cómo dividirlos, anota las clases que deben aparecer en cada partición de prueba y los recuentos mínimos. La presencia de todas las clases y el equilibrio exacto son requisitos distintos.
Comprueba la división que se generó
Guarda qué grupo va en cada partición y cuenta los casos de cada clase en cada partición de prueba. Comprueba por separado que los grupos no se dividen y que estén las clases requeridas. Si falta una clase obligatoria, deja la división en espera y comprueba si otra asignación de grupos completos cumple el requisito.
En un ejemplo ficticio de 24 filas, StratifiedGroupKFold de scikit-learn 1.7.2 usó tres particiones sin mezclar los datos. Un conjunto de identificadores de grupo numéricos dio los pares de recuentos (4, 2), (4, 6) y (4, 4). Al invertir los identificadores se obtuvieron (4, 6), (4, 0) y (4, 6), con las mismas filas, etiquetas y pertenencias a grupos. En el primer resultado están todas las clases, pero no hay equilibrio exacto. El segundo incumple ambos requisitos. En el ejemplo sí era posible una asignación exacta de (4, 4).
Comprueba si el requisito se puede cumplir
Si ambas particiones necesitan todas las clases, cada clase debe aparecer en al menos dos grupos independientes. Usa la relación entre clases y grupos para comprobar si todas pueden aparecer en las dos particiones a la vez.
En dos ejemplos distintos de 12 filas, cada clase aparece en dos grupos y cada grupo contiene dos filas. Cada clase obliga a poner sus dos grupos en particiones opuestas. Si los seis pares forman un ciclo, funciona alternar los grupos entre las particiones. Si forman dos triángulos, en cada triángulo hay tres grupos que tendrían que quedar todos en lados opuestos entre sí. En cada triángulo falta alguna clase. Al enumerar las 62 asignaciones a dos particiones identificadas y no vacías, hay dos con cobertura completa para el ciclo y ninguna para los dos triángulos.
Elige un ajuste que respete lo que no puede cambiar
En el ejemplo de los dos triángulos, falta la clase 5 en la primera partición generada y la clase 1 en la segunda. Si las asignaciones existentes se mantienen, dos grupos independientes nuevos pueden cubrir las carencias por separado. Un grupo completo solo puede entrar en una partición de prueba.
Si los grupos existentes se pueden mover, puede bastar uno nuevo. En el ejemplo funcionan nueve de los 15 perfiles posibles de dos clases. Cada uno incluye una clase de cada triángulo. Cuatro perfiles exigen mover al menos un grupo original y los otros cinco exigen mover al menos tres. Antes de recopilar un grupo nuevo, comprueba qué clases contiene y qué cambios de asignación permite la evaluación.
Registra la asignación aceptada, los recuentos por partición y cómo comprobaste que los grupos seguían intactos. Da una versión propia a la evaluación si cambia el conjunto de casos. La comprobación de cobertura confirma los recuentos y la pertenencia exigidos. Revisa también los demás criterios de aceptación, como si los casos representan el uso previsto.