# Que vérifier avant de comparer des scores macro-F1

Le macro-F1 donne le même poids au score de chaque classe incluse dans la moyenne. Avant de l’utiliser pour choisir un classifieur, notez les identifiants des cas, la version des libellés et les paramètres de calcul. Trois essais sur des données fictives avec scikit-learn 1.7.2 montrent comment les mêmes prédictions peuvent aboutir à des classements différents. [Définition et options du score F1 dans scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Comparez les scores au même niveau de détail des libellés.** Sur neuf demandes d’assistance portant les libellés remboursement, facture et connexion, B était devant, 0.778 contre 0.556. Après avoir regroupé remboursement et facture sous facturation, quatre erreurs de A sont devenues des réponses correctes pour cette catégorie. Les deux erreurs de B concernaient toujours des catégories différentes. A est alors passé devant, 1.000 contre 0.750. Pour comparer les scores de plusieurs versions de libellés, conservez la table de correspondance et recalculez les scores des deux systèmes au même niveau de détail. Gardez les libellés et les prédictions d’origine si cette distinction reste utile pour la tâche.

**Vérifiez quelles classes entrent dans chaque moyenne.** Dans un autre groupe sans cas de fraude dans les références, A a prédit une fraude une fois et a obtenu un score F1 de zéro, bien défini pour cette classe. B n’avait ni référence ni prédiction de fraude. En déduisant les classes des données, B a obtenu 0.667 sur deux classes et A 0.600 sur trois. Avec une liste explicite de trois classes et une valeur de zéro pour les scores F1 non définis, B est descendu à 0.444. Avec la même liste et sans les scores F1 non définis, B est remonté à 0.667. Notez la liste de classes prévue, la règle pour les scores non définis, le nombre de références et de prédictions par classe et le nombre de classes prises en compte dans la moyenne.

**Indiquez si vous réunissez les cas ou calculez la moyenne des scores par groupe.** Sur deux groupes équilibrés de huit cas, la moyenne de leurs scores macro-F1 donnait l’avantage à A, 0.600 contre 0.564. En calculant un score sur les 16 prédictions réunies, B passait devant, 0.625 contre 0.600. Comme les groupes ont la même taille, leur moyenne est identique qu’ils aient tous le même poids ou qu’ils soient pondérés par le nombre de cas. Le calcul par classe sur les cas réunis s’appuie sur les totaux de vrais positifs, de faux positifs et de faux négatifs. Pour publier un score global, additionnez ces effectifs avant de calculer le F1 de chaque classe. Pour publier des résultats par groupe, affichez les scores des groupes et leurs poids.

Conservez avec le score la version de la table de correspondance des libellés et les effectifs de la matrice de confusion par classe. Si les paramètres diffèrent entre les rapports, recalculez les scores des deux systèmes avec les mêmes cas, le même niveau de détail, la même règle pour les scores non définis et la même façon de regrouper les résultats avant d’interpréter le classement.

[Télécharger les scripts et les résultats enregistrés (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
