Underlag för att välja ett flerspråkigt lästest

Kontrollerna jämför frågorna och språken i specifika versioner av TyDi QA, XQuAD, MLQA och Belebele. Antalen gäller de filer som används i guiden.

Vilka frågor finns i båda TyDi QA-filerna?

Vi matchade utvecklingsfilerna utifrån språk, artikelrubrik och frågans exakta formulering. Var och en av de 5,077 raderna i Gold Passage matchade en av de 18,670 raderna i primärfilen. För de nio gemensamma språken saknas 1,285 rader från primärfilen i Gold Passage-filen där minst en annotatör har markerat ett skriftligt svar. Primärfilen för utveckling innehåller japanska och thailändska, medan Gold Passage-filen saknar rader för dessa två språk.

För att jämföra en hel artikel med en kortare indata, be samma modell om ett skriftligt svar två gånger. Kopiera det kortare textavsnittet exakt från artikeln. Behåll samma inställningar, fråga, svarsformat, godkända svar och poängsättningsregel. Kontrollera att varje godkänt svar finns i båda indatatexterna. Kontrollera utdraget och dess svarslista om du använder Gold Passage som det levereras. Matchningen utifrån frågorna visar vilka frågor som finns i båda filerna. Textavsnitten och de godkända svaren kan skilja sig åt.

Författarna utesluter engelska från det sammanlagda genomsnittet i både primärutvärderingen och Gold Passage-utvärderingen.

Antal per språk (JSON) · Jämförelseskript (Python) · Versionslåst primärfil för utveckling · Versionslåst Gold Passage-fil för utveckling · Officiella poängsättningsregler

Spara de två källfilerna som primary.parquet och gold.parquet. Spara skriptet och antalen i samma mapp och kör sedan jämförelsen. Skriptet kontrollerar de två indatafilernas kontrollsummor innan det läser dem.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Vilka XQuAD-frågor kommer från SQuAD?

Alla 1,190 engelska fråge-ID:n i XQuAD matchar frågor i utvecklingsfilen för SQuAD 1.1. För dessa ID:n är artikelrubriken, textavsnittet och frågetexten identiska. Alla 12 filer i den XQuAD-version vi kontrollerade har samma ID:n, inklusive den rumänska filen som lades till efter den ursprungliga utgåvan.

Antal frågor och matchningar (JSON) · Den ursprungliga XQuAD-artikeln · Versionslåst XQuAD-version · Versionslåst SQuAD-fil för utveckling

Vad är oförändrat när en MLQA-fråga byter språk?

De fyra engelska–vietnamesiska utvecklingsfilerna har 511 gemensamma fråge-ID:n. När frågorna byttes från engelska till vietnamesiska och det engelska textavsnittet behölls ändrades alla 511 frågor, men inga textavsnitt eller listor med godkända svar. Kontrollen jämför varje textavsnitt och den ordnade listan över godkända svar, inklusive de sparade positionerna. Använd samma engelska svar för att poängsätta båda körningarna.

Antal från filjämförelsen (JSON) · Officiella MLQA-filer för nedladdning · Den ursprungliga MLQA-artikeln

Vilka språk finns i de fyra filuppsättningarna?

Vi kontrollerade utvecklingsfilerna för TyDi QA:s primärtest och Gold Passage, den versionslåsta XQuAD-utgåvan samt de MLQA-utvecklingsfiler som har samma språk i frågan och textavsnittet. Arabiska och engelska är de enda språken som finns i alla fyra uppsättningarna. Thailändska finns i TyDi QA:s primärtest och XQuAD, men saknas i Gold Passage.

Språkkoder per filuppsättning (JSON)

Var finns flervalslästestet på thailändska?

Belebele har en thailändsk fil som heter tha_Thai.jsonl. Använd den för frågor där modellen ska välja ett av fyra svar efter att ha läst ett textavsnitt.

Versionslåst thailändsk fil från författarna · Den ursprungliga Belebele-artikeln · Så jämför du resultat på flervalslästest mellan språk