Dokumentasjon for valg av flerspråklig leseprøve
Disse kontrollene sammenligner spørsmålene og språkene i bestemte utgivelser av TyDi QA, XQuAD, MLQA og Belebele. Antallene beskriver filene som er brukt i veiledningen.
Hvilke spørsmål finnes i begge TyDi QA-filene?
Vi sammenlignet utviklingsfilene etter språk, artikkeltittel og nøyaktig ordlyd i spørsmålet. Hver av de 5,077 radene i Gold Passage samsvarte med en av de 18,670 radene i primærfilen. For de 9 språkene som finnes i begge filene, mangler Gold Passage-filen 1,285 rader fra primærfilen der minst én annotatør markerte et skriftlig svar. Den primære utviklingsfilen inneholder japansk og thai, mens Gold Passage-filen ikke har noen rader på disse språkene.
For å sammenligne en hel artikkel med et kortere tekstutdrag kan du be den samme modellen om et skriftlig svar 2 ganger. Kopier det kortere utdraget nøyaktig fra artikkelen. Behold de samme innstillingene, spørsmålet, svarformatet, godkjente svarene og poengsettingsregelen. Sjekk at hvert godkjente svar finnes i begge tekstene. Sjekk utdraget og svarlisten hvis du bruker Gold Passage slik det er levert. Sammenligningen av spørsmålene viser hvilke spørsmål filene har til felles. Utdragene og de godkjente svarene kan være forskjellige.
Forfatterne utelater engelsk fra det samlede gjennomsnittet i både den primære evalueringen og Gold Passage-evalueringen.
Antall per språk (JSON) · Sammenligningsskript (Python) · Primær utviklingsfil, fastsatt versjon · Gold Passage-utviklingsfil, fastsatt versjon · Offisielle regler for poengsetting
Lagre de 2 kildefilene som primary.parquet og gold.parquet. Lagre skriptet og antallene i samme mappe, og kjør deretter sammenligningen. Skriptet kontrollerer kontrollsummene for de 2 inndatafilene før det leser dem.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Hvilke XQuAD-spørsmål kommer fra SQuAD?
Alle de 1,190 engelske XQuAD-ID-ene samsvarer med spørsmål i utviklingsfilen for SQuAD 1.1. For disse ID-ene er artikkeltittelen, utdraget og spørsmålsteksten nøyaktig like. Alle de 12 filene i XQuAD-revisjonen vi undersøkte, har de samme ID-ene, inkludert den rumenske filen som ble lagt til etter den opprinnelige utgivelsen.
Antall spørsmål og samsvar (JSON) · Den opprinnelige XQuAD-artikkelen · XQuAD-revisjon, fastsatt versjon · SQuAD-utviklingsfil, fastsatt versjon
Hva forblir likt når et MLQA-spørsmål bytter språk?
De 4 engelsk–vietnamesiske utviklingsfilene har 511 spørsmåls-ID-er til felles. Da vi byttet fra engelske til vietnamesiske spørsmål og beholdt det engelske utdraget, endret alle de 511 spørsmålene seg, mens ingen utdrag eller lister over godkjente svar endret seg. Kontrollen sammenligner hvert utdrag og den ordnede listen over godkjente svar, inkludert de lagrede posisjonene. Bruk de samme engelske svarene til å sette poeng på begge kjøringene.
Antall fra filsammenligningen (JSON) · Offisielle MLQA-nedlastinger · Den opprinnelige MLQA-artikkelen
Hvilke språk finnes i de 4 filsettene?
Vi undersøkte utviklingsfilene for TyDi QA primary og Gold Passage, den fastsatte XQuAD-utgivelsen og MLQA-utviklingsfilene som bruker samme språk i spørsmålet og utdraget. Arabisk og engelsk er de eneste språkene som finnes i alle de 4 settene. Thai finnes i TyDi QA primary og XQuAD, men ikke i Gold Passage.
Språkkoder per filsett (JSON)
Hvor finner du den thailandske flervalgsprøven?
Belebele har en thailandsk fil som heter tha_Thai.jsonl. Bruk den til spørsmål der modellen skal velge ett av 4 svar etter å ha lest et utdrag.
Thailandsk fil fra forfatterne, fastsatt versjon · Den opprinnelige Belebele-artikkelen · Slik sammenligner du resultater fra flervalgsprøver i lesing på tvers av språk