Dovezi pentru alegerea unui test de înțelegere a textului în mai multe limbi

Aceste verificări compară întrebările și limbile din versiuni specifice ale TyDi QA, XQuAD, MLQA și Belebele. Numerele se referă la fișierele folosite în ghid.

Ce întrebări au în comun fișierele TyDi QA?

Am comparat fișierele de dezvoltare după limbă, titlul articolului și formularea exactă a întrebării. Fiecare dintre cele 5,077 de rânduri Gold Passage a avut un corespondent între cele 18,670 de rânduri ale setului principal. Pentru cele 9 limbi comune, fișierul Gold Passage omite 1,285 de rânduri din setul principal pentru care cel puțin un adnotator a marcat un răspuns scris. Fișierul de dezvoltare al setului principal include japoneza și thailandeza, iar fișierul Gold Passage nu conține rânduri în aceste 2 limbi.

Pentru a compara un articol întreg cu un text de intrare mai scurt, cere-i aceluiași model un răspuns scris de 2 ori. Copiază fragmentul mai scurt exact așa cum apare în articol. Păstrează aceleași setări, întrebare, format al răspunsului, răspunsuri acceptate și regulă de evaluare. Verifică dacă fiecare răspuns acceptat apare în ambele texte de intrare. Dacă folosești Gold Passage în forma furnizată, verifică fragmentul și lista de răspunsuri asociată. Compararea întrebărilor stabilește ce întrebări au în comun fișierele. Textul fragmentelor și răspunsurile acceptate pot fi diferite.

Evaluările autorilor pentru setul principal și pentru Gold Passage exclud fiecare limba engleză din media generală.

Numărări pe limbi (JSON) · Script de comparare (Python) · Fișierul de dezvoltare al setului principal, în versiunea fixată · Fișierul de dezvoltare Gold Passage, în versiunea fixată · Reguli oficiale de evaluare

Salvează cele 2 fișiere sursă sub numele primary.parquet și gold.parquet. Salvează scriptul și numărările în același director, apoi rulează comparația. Scriptul verifică amprentele digitale ale celor 2 fișiere de intrare înainte de a le citi.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Ce întrebări XQuAD provin din SQuAD?

Toți cei 1,190 de identificatori ai întrebărilor XQuAD în engleză corespund unor întrebări din fișierul de dezvoltare SQuAD 1.1. Pentru acești identificatori, titlul articolului, fragmentul și textul întrebării coincid exact. Toate cele 12 fișiere din revizia XQuAD verificată au aceiași identificatori, inclusiv fișierul în română adăugat după lansarea inițială.

Numărul de întrebări și corespondențele găsite (JSON) · Lucrarea originală XQuAD · Revizia XQuAD fixată · Fișierul de dezvoltare SQuAD, în versiunea fixată

Ce rămâne la fel când se schimbă limba unei întrebări MLQA?

Cele 4 fișiere de dezvoltare engleză–vietnameză au în comun 511 identificatori de întrebare. Trecerea de la întrebări în engleză la întrebări în vietnameză, păstrând fragmentul în engleză, a schimbat toate cele 511 întrebări, niciun fragment și nicio listă de răspunsuri acceptate. Verificarea compară fiecare fragment și lista ordonată de răspunsuri acceptate, inclusiv pozițiile salvate ale răspunsurilor. Folosește aceleași răspunsuri în engleză pentru a evalua ambele rulări.

Numărările din compararea fișierelor (JSON) · Descărcări oficiale MLQA · Lucrarea originală MLQA

Ce limbi se găsesc în cele 4 seturi de fișiere?

Am verificat fișierele de dezvoltare TyDi QA pentru setul principal și Gold Passage, versiunea fixată XQuAD și fișierele de dezvoltare MLQA care folosesc aceeași limbă pentru întrebare și fragment. Araba și engleza sunt singurele limbi prezente în toate cele 4 seturi. Thailandeza apare în setul principal TyDi QA și în XQuAD și lipsește din Gold Passage.

Coduri de limbă pentru fiecare set de fișiere (JSON)

Unde găsești testul în thailandeză cu variante de răspuns?

Belebele are un fișier în thailandeză numit tha_Thai.jsonl. Folosește-l pentru întrebări care cer modelului să aleagă unul dintre 4 răspunsuri după ce citește un fragment.

Fișierul în thailandeză al autorilor, în versiunea fixată · Lucrarea originală Belebele · Cum compari între limbi scorurile la testele de înțelegere a textului cu variante de răspuns