Données pour choisir un test de compréhension écrite multilingue
Ces vérifications comparent les questions et les langues de versions précises de TyDi QA, XQuAD, MLQA et Belebele. Les nombres correspondent aux fichiers utilisés dans le guide.
Quelles questions les fichiers TyDi QA ont-ils en commun ?
Nous avons mis en correspondance les lignes des fichiers de développement selon la langue, le titre de l’article et la formulation exacte de la question. Chacune des 5,077 lignes du fichier Gold Passage correspond à l’une des 18,670 lignes du fichier de la tâche principale. Dans les 9 langues communes, le fichier Gold Passage omet 1,285 lignes du fichier principal pour lesquelles au moins un annotateur a indiqué une réponse écrite. Le fichier de développement de la tâche principale comprend le japonais et le thaï, tandis que le fichier Gold Passage ne contient aucune ligne dans ces 2 langues.
Pour comparer un article entier à une entrée plus courte, demandez deux fois au même modèle de fournir une réponse écrite. Copiez le passage plus court exactement tel qu’il figure dans l’article. Gardez les mêmes paramètres, question, format de réponse, réponses acceptées et règle de notation. Vérifiez que chaque réponse acceptée figure dans les deux entrées. Si vous utilisez Gold Passage tel qu’il est fourni, vérifiez l’extrait et sa liste de réponses. La mise en correspondance des questions permet de déterminer quelles questions les fichiers ont en commun. Le texte des passages et les réponses acceptées peuvent différer.
Dans leurs évaluations de la tâche principale et de Gold Passage, les auteurs excluent l’anglais de chaque moyenne globale.
Nombres par langue (JSON) · Script de comparaison (Python) · Fichier de développement de la tâche principale, à une révision précise · Fichier de développement Gold Passage, à une révision précise · Règles de notation officielles
Enregistrez les deux fichiers sources sous les noms primary.parquet et gold.parquet. Enregistrez le script et les nombres dans le même répertoire, puis lancez la comparaison. Le script vérifie les empreintes des deux fichiers d’entrée avant de les lire.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Quelles questions de XQuAD proviennent de SQuAD ?
Les 1,190 identifiants XQuAD en anglais correspondent tous à des questions du fichier de développement SQuAD 1.1. Pour ces identifiants, le titre de l’article, le passage et le texte de la question correspondent exactement. Les 12 fichiers de la révision XQuAD que nous avons vérifiée partagent les mêmes identifiants, y compris le fichier roumain ajouté après la publication initiale.
Nombres de questions et correspondances (JSON) · Article original sur XQuAD · Révision précise de XQuAD · Fichier de développement SQuAD à une révision précise
Qu’est-ce qui reste identique lorsqu’une question MLQA change de langue ?
Les 4 fichiers de développement anglais-vietnamien partagent 511 identifiants de question. Le passage des questions en anglais aux questions en vietnamien, tout en conservant le passage en anglais, a modifié les 511 questions, mais aucun passage ni aucune liste de réponses acceptées. La vérification compare chaque passage et la liste ordonnée des réponses acceptées, y compris les positions enregistrées. Utilisez les mêmes réponses en anglais pour noter les deux essais.
Résultats chiffrés de la comparaison des fichiers (JSON) · Téléchargements officiels de MLQA · Article original sur MLQA
Quelles langues figurent dans les 4 ensembles de fichiers ?
Nous avons vérifié les fichiers de développement TyDi QA de la tâche principale et de Gold Passage, la version précise de XQuAD et les fichiers de développement MLQA qui utilisent la même langue pour la question et le passage. L’arabe et l’anglais sont les seules langues présentes dans les 4 ensembles. Le thaï figure dans les fichiers de la tâche principale de TyDi QA et dans XQuAD, mais il est absent de Gold Passage.
Codes de langue par ensemble de fichiers (JSON)
Où trouver le test à choix multiple en thaï ?
Belebele comprend un fichier en thaï nommé tha_Thai.jsonl. Utilisez-le pour les questions qui demandent au modèle de choisir l’une des 4 réponses après avoir lu un passage.
Fichier thaï des auteurs à une révision précise · Article original sur Belebele · Comment comparer les scores de compréhension écrite à choix multiple entre langues