# Comment comparer les scores aux tests de lecture à choix multiple entre langues

Utilisez les mêmes questions et règles de notation dans chaque langue. Repérez les choix répétés et les passages que le modèle a pu voir auparavant. Dans Belebele, un test de lecture multilingue, nous avons copié dans chaque fichier les numéros des choix marqués comme corrects et les avons rangés dans l’ordre des questions en anglais. Les apparier par numéro de ligne a donné 73,55 %. L’appariement par identifiant de question a donné 100 %. [Rejeu de la notation de Belebele](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Associer chaque réponse à sa question

Gardez avec chaque réponse la langue, l’identifiant de la question et le numéro ou la lettre du choix. Les 122 fichiers de Belebele partagent les mêmes 900 identifiants de question, mais 52 les présentent dans un ordre différent de l’anglais. Lors du test par numéro de ligne, 9 838 réponses associées à la mauvaise question ont tout de même reçu des points parce que les numéros des choix coïncidaient. [Vérification de l’ordre des questions](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Vérifier si deux choix ont le même texte

Imaginez que les choix B et D indiquent tous deux `12` et que le fichier marque B comme correct. La réponse `12` donne le texte. Pour noter selon la position, il faut la lettre. Dans Belebele, 148 lignes répètent le texte de la réponse marquée comme correcte. Après avoir copié ce texte à l’identique, choisir la première option correspondante a fait perdre 16 points, et la dernière, 133. Décidez si le score repose sur le numéro ou la lettre du choix, ou sur son texte. Vérifiez ensuite les options avec la même règle. [Choix de réponse répétés](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Comparer les scores sur les mêmes questions

Si vous retirez les 148 lignes avec une réponse répétée seulement là où elles apparaissent, il reste entre 894 et 899 questions par langue. Pour comparer les mêmes questions dans toutes les langues, retirez les 23 identifiants concernés de chaque fichier. Il reste 877 questions communes. Indiquez le nombre de questions au départ et le nombre évalué. [Comparaison des filtres de questions](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Vérifier quels passages le modèle a pu voir

Si vous avez utilisé le jeu de développement de FLORES-200 pour ajuster un modèle, vérifiez si les mêmes passages figurent dans Belebele. Dans le fichier anglais, 513 questions renvoient à des pages de ce jeu. Pour 417 d’entre elles, réunir les phrases de FLORES reproduit exactement le passage de Belebele. Le nombre de correspondances exactes varie entre les 116 autres fichiers de langue et d’écriture communs aux deux jeux de données. Vérifiez le texte dans la langue que vous évaluez. [Réutilisation des passages anglais](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Réutilisation des passages traduits](https://sapien1.com/fr/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
