Podklady pro výběr vícejazyčného testu porozumění textu
Tato ověření porovnávají otázky a jazyky v konkrétních verzích testů TyDi QA, XQuAD, MLQA a Belebele. Uvedené počty se vztahují k souborům použitým v průvodci.
Které otázky mají soubory TyDi QA společné?
Vývojové soubory jsme porovnali podle jazyka, názvu článku a přesného znění otázky. Každý z 5,077 řádků v souboru Gold Passage odpovídal jednomu z 18,670 řádků v primárním souboru. V 9 společných jazycích soubor Gold Passage vynechává 1,285 řádků primárního souboru, u nichž alespoň jeden anotátor označil písemnou odpověď. Primární vývojový soubor obsahuje japonštinu a thajštinu, zatímco soubor Gold Passage neobsahuje v těchto 2 jazycích žádné řádky.
Chcete-li porovnat celý článek s kratším vstupem, požádejte stejný model dvakrát o písemnou odpověď. Kratší úryvek zkopírujte z článku přesně. Ponechte stejné nastavení, otázku, formát odpovědi, uznávané odpovědi i pravidlo hodnocení. Ověřte, že se každá uznávaná odpověď nachází v obou vstupech. Používáte-li Gold Passage v dodané podobě, zkontrolujte úryvek a jeho seznam odpovědí. Shoda podle otázky určuje, které otázky mají soubory společné. Text úryvku a uznávané odpovědi se mohou lišit.
Autoři při hodnocení primárního souboru i souboru Gold Passage vynechávají angličtinu z celkového průměru.
Počty podle jazyka (JSON) · Skript pro porovnání (Python) · Primární vývojový soubor v pevně určené verzi · Vývojový soubor Gold Passage v pevně určené verzi · Oficiální pravidla hodnocení
Uložte oba zdrojové soubory jako primary.parquet a gold.parquet. Skript a soubor s počty uložte do stejné složky a poté spusťte porovnání. Skript před načtením obou vstupních souborů ověří jejich kontrolní otisky.
uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json
Které otázky XQuAD pocházejí ze SQuAD?
Všech 1,190 identifikátorů anglických otázek XQuAD odpovídá otázkám ve vývojovém souboru SQuAD 1.1. U těchto identifikátorů se přesně shoduje název článku, úryvek i text otázky. Všech 12 souborů v námi ověřené revizi XQuAD sdílí stejné identifikátory, včetně rumunského souboru přidaného po původním vydání.
Počty otázek a shod (JSON) · Původní výzkumná práce o XQuAD · Revize XQuAD v pevně určené verzi · Vývojový soubor SQuAD v pevně určené verzi
Co zůstane stejné, když se změní jazyk otázky MLQA?
Čtyři anglicko-vietnamské vývojové soubory sdílejí 511 identifikátorů otázek. Při přechodu z anglických otázek na vietnamské a zachování anglického úryvku se změnilo všech 511 otázek, žádný úryvek a žádný seznam uznávaných odpovědí. Ověření porovnává každý úryvek a seřazený seznam uznávaných odpovědí včetně uložených pozic v textu. Pro hodnocení obou běhů použijte stejné anglické odpovědi.
Počty z porovnání souborů (JSON) · Oficiální soubory MLQA ke stažení · Původní výzkumná práce o MLQA
Které jazyky obsahují 4 sady souborů?
Ověřili jsme primární vývojový soubor TyDi QA a vývojový soubor Gold Passage, vydání XQuAD v pevně určené verzi a vývojové soubory MLQA, které používají stejný jazyk pro otázku i úryvek. Arabština a angličtina jsou jediné jazyky zastoupené ve všech 4 sadách. Thajština se vyskytuje v primárním souboru TyDi QA a v XQuAD, v souboru Gold Passage chybí.
Jazykové kódy podle sady souborů (JSON)
Kde najdete thajský test s výběrem odpovědi?
Belebele obsahuje thajský soubor s názvem tha_Thai.jsonl. Použijte jej pro otázky, v nichž má model po přečtení úryvku vybrat jednu ze 4 odpovědí.
Thajský soubor autorů v pevně určené verzi · Původní výzkumná práce o Belebele · Jak porovnávat výsledky testů čtení s výběrem odpovědi mezi jazyky