Dokumentation til valg af en flersproget læsetest
Disse undersøgelser sammenligner spørgsmålene og sprogene i bestemte udgaver af TyDi QA, XQuAD, MLQA og Belebele. Antallene gælder de filer, der bruges i guiden.
Hvilke spørgsmål har TyDi QA-filerne til fælles?
Vi sammenlignede udviklingsfilerne ud fra sprog, artikeltitel og spørgsmålenes præcise ordlyd. Hver af de 5,077 rækker i Gold Passage-filen matchede en af de 18,670 rækker i den primære fil. For de 9 fælles sprog udelader Gold Passage-filen 1,285 rækker fra den primære fil, hvor mindst 1 annotator havde markeret et skriftligt svar. Den primære udviklingsfil indeholder japansk og thai, mens Gold Passage-filen ikke har nogen rækker på de 2 sprog.
Hvis du vil sammenligne en hel artikel med et kortere input, skal du bede den samme model om et skriftligt svar 2 gange. Kopiér den kortere passage præcist fra artiklen. Brug de samme indstillinger, det samme spørgsmål, svarformat, accepterede svar og den samme regel for pointberegning. Kontrollér, at hvert accepteret svar findes i begge input. Kontrollér uddraget og dets liste over svar, hvis du bruger Gold Passage i den form, det leveres. Matchningen på spørgsmålsniveau viser, hvilke spørgsmål filerne har til fælles. Passagens tekst og de accepterede svar kan være forskellige.
Forfatterne udelader engelsk fra det samlede gennemsnit i både deres primære evaluering og deres Gold Passage-evaluering.
Antal fordelt på sprog (JSON) · Sammenligningsscript (Python) · Fastlåst version af den primære udviklingsfil · Fastlåst version af Gold Passage-udviklingsfilen · Officielle regler for pointberegning
Gem de 2 kildefiler som primary.parquet og gold.parquet. Gem scriptet og filen med antal i samme mappe, og kør derefter sammenligningen. Scriptet verificerer de 2 inputfilers kontrolsummer, før det læser dem.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Hvilke XQuAD-spørgsmål stammer fra SQuAD?
Alle 1,190 engelske XQuAD-id'er matcher spørgsmål i udviklingsfilen til SQuAD 1.1. For disse id'er stemmer artikeltitel, passage og spørgsmålstekst præcist overens. Alle 12 filer i den XQuAD-version, vi undersøgte, har de samme id'er, herunder den rumænske fil, som blev tilføjet efter den oprindelige udgivelse.
Antal spørgsmål og match (JSON) · Den oprindelige XQuAD-forskningsartikel · Fastlåst XQuAD-version · Fastlåst version af SQuAD-udviklingsfilen
Hvad forbliver det samme, når et MLQA-spørgsmål skifter sprog?
De 4 engelsk-vietnamesiske udviklingsfiler har 511 spørgsmåls-id'er til fælles. Da spørgsmålenes sprog blev ændret fra engelsk til vietnamesisk, mens den engelske passage blev bevaret, ændrede alle 511 spørgsmål sig, mens ingen passager eller lister over accepterede svar ændrede sig. Undersøgelsen sammenligner hver passage og den ordnede liste over accepterede svar, herunder de gemte positioner. Brug de samme engelske svar til at beregne point for begge kørsler.
Antal fra filsammenligningen (JSON) · Officielle MLQA-downloads · Den oprindelige MLQA-forskningsartikel
Hvilke sprog findes i de 4 filsæt?
Vi undersøgte udviklingsfilerne til TyDi QA primary og Gold Passage, den fastlåste XQuAD-udgave og de MLQA-udviklingsfiler, der bruger samme sprog til spørgsmål og passage. Arabisk og engelsk er de eneste sprog, der findes i alle 4 sæt. Thai findes i TyDi QA primary og XQuAD, men ikke i Gold Passage.
Sprogkoder fordelt på filsæt (JSON)
Hvor findes den thailandske multiple choice-test?
Belebele har en thailandsk fil med navnet tha_Thai.jsonl. Brug den til spørgsmål, hvor modellen skal vælge 1 af 4 svar efter at have læst en passage.
Fastlåst version af forfatternes thailandske fil · Den oprindelige Belebele-forskningsartikel · Sådan sammenligner du resultater fra multiple choice-læsetests på tværs af sprog