# Éléments de preuve pour les guides sur les tests de lecture

Ces vérifications utilisent les archives originales de Belebele et de FLORES-200, ainsi que les fichiers publics de développement de MLQA. Dans Belebele, chaque question comporte 4 choix de réponse. Les 122 fichiers de langues et de systèmes d’écriture du ZIP original partagent 900 identifiants de question. Dans ces fichiers, chaque identifiant associe une URL source à un numéro de question. [Article sur Belebele](https://aclanthology.org/2024.acl-long.44/) · [Téléchargement et format de Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Associer chaque réponse à sa question

Nous avons copié les numéros des réponses indiquées dans chaque fichier Belebele et les avons classés selon l’ordre des questions en anglais. Dans 52 fichiers, l’ordre des questions diffère de celui du fichier anglais. L’association des réponses copiées à chaque fichier par numéro de ligne a donné un score de 73.55%. L’association par identifiant de question a donné un score de 100% sur 109,800 lignes. Avec l’association par numéro de ligne, 38,876 réponses ont été attribuées à une autre question. Parmi elles, 9,838 ont tout de même obtenu des points, car les numéros de réponse correspondaient.

## Vérifier si deux choix ont le même texte

Dans 148 lignes, une autre réponse proposée contient exactement le même texte que la réponse indiquée. Nous avons copié le texte de la réponse indiquée pour chaque ligne. Attribuer la première réponse proposée contenant ce texte a fait perdre 16 points. Attribuer la dernière en a fait perdre 133. Cette vérification compare le texte exactement tel qu’il est enregistré dans le fichier ZIP d’origine.

## Garder les mêmes questions

Supprimer les 148 lignes concernées uniquement là où elles apparaissent laisse entre 894 et 899 questions par fichier. Ces lignes correspondent à 23 identifiants de question distincts. Supprimer les 23 identifiants de chaque fichier laisse les mêmes 877 questions dans chacun d’eux.

## Vérifier l’origine des passages

Dans le fichier anglais, 513 questions renvoient à des pages du jeu de développement original de FLORES-200. Pour 417 de ces questions, la concaténation dans l’ordre des phrases originales de FLORES reproduit exactement le passage de Belebele. Le nombre de correspondances exactes varie entre les 116 autres fichiers de langues et de systèmes d’écriture communs aux deux archives.

Nous avons également vérifié 45,279 lignes de Belebele correspondant à des URL du jeu `devtest` de FLORES-200, dans les 117 fichiers de langues et de systèmes d’écriture communs aux deux archives, anglais compris. Pour 9 identifiants de question distincts, le passage contenait une phrase complète du jeu de développement dans au moins un fichier. La vérification repose sur la correspondance des URL sources et du texte exact dans les archives sources. [Documentation de FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Archive originale de FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Vérifier la règle de la réponse la plus courte

Choisir systématiquement la réponse la plus courte a donné un score de 27.03% sur l’ensemble du test Belebele. La règle compte les caractères après normalisation des caractères Unicode équivalents et des espaces. Si plusieurs choix sont les plus courts, elle répartit 1 point à parts égales entre eux et ne compte que la part de la réponse indiquée. Un choix aléatoire uniforme parmi les 4 propositions donne un score attendu de 25%. Les auteurs originaux de Belebele ont utilisé le recoupement des mots et la longueur des réponses pour rechercher des indices. Ils ont également rapporté un score de 28% sur 900 questions pour un modèle qui utilisait les mots sans tenir compte de leur ordre. [Article sur Belebele, section 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Annexe A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Comparer les scores selon le passage

Nous avons utilisé les mêmes 900 identifiants de question en anglais et en vietnamien. La règle choisit la réponse dont la plus grande proportion de mots distincts figure dans la question ou dans le passage fourni. Sans passage, elle utilise uniquement la question. En cas d’égalité, les choix se partagent 1 point à parts égales. Pour chaque essai avec remplacement, le passage provient d’une autre page, identique dans les 2 langues.

| Langue | Sans passage | Premier remplacement | Passage prévu | Plage de scores sur 16 remplacements |
| --- | ---: | ---: | ---: | ---: |
| Anglais | 24.60% | 26.38% | 28.72% | De 24.60% à 27.89% |
| Vietnamien | 25.98% | 24.80% | 27.17% | De 23.58% à 27.84% |

Le passage prévu a obtenu un score supérieur à ceux des 16 passages de remplacement en anglais et à ceux de 15 passages de remplacement en vietnamien. Par rapport à l’absence de passage, le passage prévu a augmenté les points obtenus pour 311 questions en anglais et 313 en vietnamien. Il a réduit les points obtenus pour 218 questions en anglais et 234 en vietnamien. [Code de comparaison des mots](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Résultats agrégés](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Changer la langue de la question

Dans les fichiers de développement MLQA en anglais et en vietnamien, 511 identifiants de question apparaissent dans les 4 combinaisons de langues de question et de passage. Parmi ces identifiants, lorsque la langue de la question passe de l’anglais au vietnamien et que le passage reste en anglais, le passage et la liste des réponses acceptées restent exactement les mêmes. Une comparaison utilisant cette configuration évalue les 2 essais à partir des mêmes réponses en anglais. [Article sur MLQA](https://aclanthology.org/2020.acl-main.653/) · [Organisation des fichiers MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Répéter la vérification par comparaison des mots

Téléchargez le [ZIP original de Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), le [script de comparaison des mots](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), son [script auxiliaire Python](https://sapien1.com/research/reading-benchmark-evidence/check.py) et les [résultats agrégés enregistrés](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Placez-les dans le même dossier. Le script vérifie l’empreinte de l’archive et lit les fichiers anglais et vietnamien. Il présente les scores en unités de crédit, 12 unités correspondant à 1 réponse correcte. Utilisez Python 3.12 pour répéter la comparaison.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
