Recherche
Comment reproduire et comparer des scores chrF sur un corpus
Pour reproduire un score chrF sur un corpus, conservez le nom et la version de la métrique, ses options et les données exactes. Gardez le fichier de prédictions et la liste ordonnée des fichiers de référence, avec leurs sommes de contrôle. Conservez des identifiants de segments stables ou une autre trace de la correspondance entre les prédictions et chaque fichier de référence.
Les exemples utilisent des textes fictifs, deux segments et les réglages par défaut de chrF2 dans SacreBLEU 2.6.0.
Reprenez l’ordre utilisé pour le score publié
SacreBLEU choisit une référence pour chaque prédiction. Il prend les décomptes de la référence qui donne le meilleur score pour la phrase et garde la première en cas d’égalité exacte. Le chrF2 du corpus additionne les décomptes de n-grammes retenus avant de calculer le score.
Dans le premier exemple, les deux références donnent 6.25 pour la première prédiction de A. Leurs décomptes de n-grammes diffèrent. Inverser les fichiers fait passer le score de A sur le corpus de 79.03 à 39.48. B reste à 64.31, ce qui change le gagnant. L’API et la ligne de commande donnent le même résultat. Les quatre exécutions ont la même signature de métrique. Utilisez les fichiers dans l’ordre d’origine pour vérifier la valeur publiée.
Comparez les deux systèmes dans chaque ordre plausible
Si l’ordre d’origine est incertain, notez les ordres plausibles et évaluez les deux systèmes dans chacun d’eux. Calculez l’écart pour chaque exécution avant de résumer la plage des écarts.
Dans un autre exemple avec trois fichiers de référence, les scores de A vont de 22.67 à 79.03, et ceux de B de 16.33 à 43.33. Les plages se chevauchent. Dans les six ordres testés pour les deux systèmes, A garde pourtant une avance de 6.33 à 35.69 points, calculée à partir des scores avant arrondi. Si le gagnant change selon l’ordre, indiquez-le. Si le même système reste en tête, précisez quels ordres communs confirment ce résultat. Retrouvez l’ordre d’origine pour vérifier la valeur initiale.
Relancez l’évaluation quand les références changent
Une nouvelle référence peut faire monter le score d’une phrase tout en faisant baisser le chrF2 du corpus. Dans le troisième exemple, l’ajout d’un fichier de référence fait passer le score de la première phrase de A de 6.25 à 6.94. La seconde reste à 100. La moyenne par phrase de A augmente, tandis que son score sur le corpus passe de 79.03 à 43.60. B reste à 64.31. La référence ajoutée pour le premier segment donne un score de phrase strictement supérieur et les deux ordres donnent le même score de corpus. Les décomptes de la référence retenue modifient à la fois les correspondances et les dénominateurs du calcul sur le corpus.
Quand les références changent, évaluez les deux systèmes avec les fichiers exacts de chaque version, dans le bon ordre. Regroupez les quatre résultats pour que le lecteur puisse comparer les deux systèmes dans chaque version et voir l’effet de la révision. Indiquez s’il s’agit du chrF2 sur tout le corpus ou d’une moyenne des scores par phrase.
Choix des références et calcul sur le corpus dans SacreBLEU 2.6.0