Recherche
Vérifier l’AUROC de validation croisée avant de choisir un modèle
Partez de la comparaison dont vous avez besoin. Couvre-t-elle tous les sous-ensembles de test requis ? Chaque sous-ensemble doit-il avoir le même poids, ou chaque paire comparable ? Si les scores viennent de modèles ajustés séparément, déterminez si l’évaluation permet de les comparer entre sous-ensembles.
Vérifiez que chaque sous-ensemble requis a un score
Pour l’AUROC binaire, comptez les cas positifs et négatifs dans chaque sous-ensemble de test. Conservez les identifiants de validation évalués, les scores par sous-ensemble pour chaque candidat et les avertissements.
Dans une recherche sur grille fictive à dix cas, deux sous-ensembles contiennent les deux classes et le troisième seulement des négatifs. scikit-learn 1.7.2 émet un avertissement et renvoie NaN pour les deux candidats dans ce troisième sous-ensemble. Les deux moyennes valent NaN et les deux candidats sont au rang 1. La recherche réajuste le premier candidat de la liste, même avec error_score="raise". Inverser l’ordre inverse le choix.
Dans un diagnostic distinct, limité aux deux sous-ensembles où le score est défini, les moyennes sont de 1.00 pour A et de 0.375 pour B. A est choisi dans les deux ordres. Si vous présentez ce diagnostic, précisez que la validation est plus limitée. Résolvez le problème de couverture des sous-ensembles initialement requis avant d’utiliser la recherche pour choisir un gagnant.
Vérifiez la pondération des scores
Pour l’AUROC binaire non pondérée, un sous-ensemble de test avec p positifs et n négatifs donne p × n comparaisons entre positifs et négatifs. L’AUROC interne mesure la fréquence à laquelle le positif a un score plus élevé, avec un demi-point en cas d’égalité. Une moyenne par sous-ensemble donne le même poids à chacun. Une pondération par paires internes donne le même poids à chaque paire admissible.
Dans un autre exemple fictif, chaque sous-ensemble contient six lignes. Le sous-ensemble 1 compte un positif et cinq négatifs, soit cinq paires. Le sous-ensemble 2 en compte trois de chaque classe, soit neuf paires. A obtient 5/5 et 4/9. B obtient 2/5 et 8/9.
| Calcul | A | B | Meilleur score |
|---|---|---|---|
| Poids égal par sous-ensemble | 13/18 | 29/45 | A |
| Poids égal par paire interne | 9/14 | 10/14 | B |
Dans cette comparaison, les scores sont à égalité si le sous-ensemble 1 reçoit un poids de 20/47. Avec des poids égaux, le sous-ensemble 1 pèse davantage. La pondération par paires lui donne 5/14 et place B en tête. Les deux calculs comptent les comparaisons internes aux sous-ensembles.
Vérifiez ce que suppose le regroupement des scores
Regrouper les prédictions d’abord compare aussi des positifs et des négatifs de sous-ensembles différents. Dans un troisième exemple, A obtient 3/4 dans chacun et B 2/4 dans chacun. Les scores regroupés d’origine sont de 13/16 pour A et de 11/16 pour B. Ajouter une constante aux scores de A du deuxième sous-ensemble préserve les deux classements internes, mais fait tomber le score regroupé de A à 10/16. B reste à 11/16 et la comparaison s’inverse.
Si la question porte sur le classement dans chaque sous-ensemble de test, indiquez les scores par sous-ensemble et la pondération choisie. Si vous regroupez les prédictions, expliquez pourquoi les échelles de scores sont comparables entre modèles ajustés. Conservez l’affectation, les effectifs par classe, les colonnes de scores, la règle d’agrégation et le résultat de sélection pour pouvoir reproduire la comparaison.
Les trois exemples utilisent des scores fictifs. Prédictions en validation croisée dans scikit-learn · Étude sur l’agrégation des résultats de validation croisée