Aller au contenu principal

Menu

Recherche

Vérifier la couverture des classes avant de valider une partition par groupes

Langue: Français

Gardez les exemples liés dans le même groupe lorsqu’ils doivent rester ensemble entre entraînement et test. Les groupes peuvent représenter des conversations, des clients ou d’autres unités définies par l’évaluation. Avant de choisir une méthode de partitionnement, notez les classes requises dans chaque sous-ensemble de test et les effectifs minimaux. La présence de chaque classe et l’équilibre exact sont deux exigences distinctes.

Vérifiez la partition obtenue

Enregistrez l’affectation des groupes et comptez les exemples de chaque classe dans chaque sous-ensemble de test. Vérifiez séparément que les groupes restent entiers et que les classes sont présentes. Si une classe requise manque, mettez la partition en attente et cherchez une autre affectation des groupes entiers qui respecte l’exigence.

Dans un exemple fictif de 24 lignes, StratifiedGroupKFold de scikit-learn 1.7.2 a utilisé trois sous-ensembles sans mélange. Un jeu d’identifiants numériques de groupes a donné les effectifs par classe (4, 2), (4, 6) et (4, 4). En inversant les identifiants, on a obtenu (4, 6), (4, 0) et (4, 6), avec les mêmes lignes, libellés et appartenances aux groupes. Le premier résultat couvre toutes les classes sans atteindre l’équilibre exact. Le second rate les deux critères. Une affectation équilibrée à (4, 4) était possible dans cet exemple.

Vérifiez si l’exigence est réalisable

Pour que les deux sous-ensembles contiennent toutes les classes, chaque classe doit être présente dans au moins deux groupes indépendants. Examinez la correspondance entre classes et groupes pour savoir si toutes les classes peuvent figurer dans les deux sous-ensembles à la fois.

Dans deux exemples distincts de 12 lignes, chaque classe figure dans deux groupes et chaque groupe contient deux lignes. Les deux groupes d’une classe doivent donc aller dans des sous-ensembles opposés. Quand les six paires forment un cycle, il suffit d’alterner l’affectation des groupes. Quand elles forment deux triangles, chacun contient trois groupes qui devraient tous être opposés les uns aux autres. Chaque triangle impose un manque. Parmi les 62 affectations à deux sous-ensembles nommés et non vides, deux couvrent toutes les classes pour le cycle et aucune pour les deux triangles.

Choisissez une correction compatible avec les contraintes

Dans l’exemple des deux triangles, la classe 5 manque dans le premier sous-ensemble obtenu et la classe 1 manque dans le second. Si les affectations en place restent fixes, deux nouveaux groupes indépendants peuvent combler ces manques séparément. Un groupe entier ne peut aller que dans un seul sous-ensemble de test.

Si les groupes existants peuvent changer de sous-ensemble, un seul nouveau groupe peut suffire. Dans l’exemple, neuf des 15 profils possibles à deux classes fonctionnent. Chacun contient une classe de chaque triangle. Quatre profils exigent de déplacer au moins un groupe d’origine et les cinq autres en exigent au moins trois. Avant de collecter un groupe, vérifiez les classes qu’il contient et les déplacements autorisés.

Consignez l’affectation retenue, les effectifs par sous-ensemble et la manière dont vous avez vérifié que les groupes restent intacts. Créez une nouvelle version d’évaluation si la liste des cas change. La vérification de couverture établit les effectifs et les appartenances spécifiés. Vérifiez aussi les autres critères d’acceptation, dont la représentativité des cas pour l’usage prévu.

Validation croisée par groupes dans scikit-learn