Podklady k příručkám pro porovnávání výsledků testů čtení

Tyto kontroly vycházejí z původních archivů Belebele a FLORES-200 a veřejných vývojových souborů MLQA. Každá otázka v Belebele má 4 možnosti odpovědi. Souborů pro jednotlivé jazyky a písma je v původním archivu ZIP celkem 122 a mají společných 900 ID otázek. V těchto souborech každé ID spojuje adresu URL zdroje s číslem otázky. Studie Belebele · Stažení a formát Belebele

Přiřaďte každou odpověď ke správné otázce

Z každého souboru Belebele jsme zkopírovali čísla označených odpovědí a seřadili je podle pořadí otázek v anglickém souboru. V 52 souborech jsou otázky v jiném pořadí než v angličtině. Přiřazení zkopírovaných odpovědí podle čísla řádku v jednotlivých souborech vedlo k výsledku 73.55%. Přiřazení podle ID otázky vedlo k výsledku 100% v rámci 109,800 řádků. Při přiřazení podle čísla řádku připadlo 38,876 odpovědí k jiné otázce. Z nich bylo 9,838 přesto uznáno jako správných, protože se čísla odpovědí shodovala.

Zkontrolujte, zda dvě možnosti nemají stejný text

Ve 148 řádcích má jiná možnost přesně stejný text jako označená odpověď. Z každého řádku jsme zkopírovali text označené odpovědi. Přiřazení první možnosti s tímto textem vedlo ke ztrátě 16 kreditů. Přiřazení poslední možnosti vedlo ke ztrátě 133 kreditů. Tato kontrola porovnává text přesně v podobě, v jaké je uložen v původním souboru ZIP.

Porovnejte výsledky na stejných otázkách

Pokud odstraníme 148 dotčených řádků pouze tam, kde se vyskytují, zůstane v každém souboru 894 až 899 otázek. Dotčené řádky zahrnují 23 různých ID otázek. Pokud všech 23 ID odstraníme z každého souboru, zůstane v každém z nich stejných 877 otázek.

Zjistěte, odkud výchozí texty pocházejí

V anglickém souboru odkazuje 513 otázek na stránky z původní vývojové části FLORES-200. U 417 z těchto otázek vznikne spojením původních vět FLORES ve správném pořadí přesně stejný výchozí text jako v Belebele. Počet přesných shod se liší mezi 116 dalšími soubory pro jednotlivé jazyky a písma, které mají oba archivy společné.

Zkontrolovali jsme také 45,279 řádků Belebele pocházejících z adres URL v části devtest datové sady FLORES-200, a to ve všech 117 společných souborech pro jednotlivé jazyky a písma včetně angličtiny. U 9 různých ID otázek obsahoval výchozí text alespoň v jednom souboru úplnou větu z vývojové části. Kontrola porovnává adresy URL zdrojů a přesné znění textu ve zdrojových archivech. Dokumentace FLORES-200 · Původní archiv FLORES-200

Ověřte pravidlo nejkratší odpovědi

Pravidlo, které vždy vybírá nejkratší odpověď, dosáhlo v celém testu Belebele výsledku 27.03%. Pravidlo počítá znaky po sjednocení ekvivalentních znaků Unicode a bílých znaků. Pokud má více možností stejnou nejkratší délku, rozdělí mezi ně rovnoměrně 1 bod a započítá pouze podíl označené odpovědi. Při náhodném výběru ze 4 možností se stejnou pravděpodobností je očekávaný výsledek 25%. Původní autoři Belebele použili překryv slov a délku odpovědí ke zjištění možných vodítek. Uvedli také výsledek 28% na 900 otázkách pro model, který pracoval se slovy bez ohledu na jejich pořadí. Studie Belebele, oddíl 3.2 · Příloha A.6

Porovnejte výsledky s výchozím textem

Použili jsme stejných 900 ID otázek v angličtině a vietnamštině. Pravidlo vybírá možnost odpovědi s nejvyšším podílem různých slov, která se vyskytují v otázce nebo v dodaném výchozím textu. Pokud výchozí text chybí, používá pouze otázku. Při shodě se 1 bod mezi možnosti rovnoměrně rozdělí. Při každém nahrazení se použije výchozí text z jiné stránky, přičemž v obou jazycích pochází náhradní text ze stejné zdrojové stránky.

Jazyk Bez výchozího textu První náhradní text Příslušný výchozí text Rozpětí výsledků pro 16 náhradních textů
Angličtina 24.60% 26.38% 28.72% 24.60% až 27.89%
Vietnamština 25.98% 24.80% 27.17% 23.58% až 27.84%

Příslušný výchozí text dosáhl lepšího výsledku než všech 16 náhradních textů v angličtině a než 15 z nich ve vietnamštině. Ve srovnání s použitím samotné otázky zvýšil příslušný výchozí text bodový zisk u 311 otázek v angličtině a 313 ve vietnamštině. Bodový zisk snížil u 218 otázek v angličtině a 234 ve vietnamštině. Kód pro porovnání slov · Souhrnné výsledky

Změňte jazyk otázky

V anglických a vietnamských vývojových souborech MLQA se 511 ID otázek vyskytuje ve všech 4 kombinacích jazyka otázky a výchozího textu. U těchto ID zůstává při změně jazyka otázky z angličtiny na vietnamštinu a zachování anglického výchozího textu samotný text i seznam uznávaných odpovědí přesně stejný. Porovnání s tímto nastavením hodnotí oba běhy podle stejných anglických odpovědí. Studie MLQA · Uspořádání souborů MLQA

Zopakujte kontrolu shody slov

Stáhněte si původní archiv Belebele ve formátu ZIP, skript pro porovnání slov, jeho pomocný skript v Pythonu a uložené souhrnné výsledky. Vložte je do stejné složky. Skript ověří kontrolní součet archivu a načte anglické a vietnamské soubory. Výsledky uvádí v bodových jednotkách, přičemž 12 jednotek odpovídá jedné správné odpovědi. K zopakování porovnání použijte Python 3.12.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json