# Podklady k příručkám pro porovnávání výsledků testů čtení

Tyto kontroly vycházejí z původních archivů Belebele a FLORES-200 a veřejných vývojových souborů MLQA. Každá otázka v Belebele má 4 možnosti odpovědi. Souborů pro jednotlivé jazyky a písma je v původním archivu ZIP celkem 122 a mají společných 900 ID otázek. V těchto souborech každé ID spojuje adresu URL zdroje s číslem otázky. [Studie Belebele](https://aclanthology.org/2024.acl-long.44/) · [Stažení a formát Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Přiřaďte každou odpověď ke správné otázce

Z každého souboru Belebele jsme zkopírovali čísla označených odpovědí a seřadili je podle pořadí otázek v anglickém souboru. V 52 souborech jsou otázky v jiném pořadí než v angličtině. Přiřazení zkopírovaných odpovědí podle čísla řádku v jednotlivých souborech vedlo k výsledku 73.55%. Přiřazení podle ID otázky vedlo k výsledku 100% v rámci 109,800 řádků. Při přiřazení podle čísla řádku připadlo 38,876 odpovědí k jiné otázce. Z nich bylo 9,838 přesto uznáno jako správných, protože se čísla odpovědí shodovala.

## Zkontrolujte, zda dvě možnosti nemají stejný text

Ve 148 řádcích má jiná možnost přesně stejný text jako označená odpověď. Z každého řádku jsme zkopírovali text označené odpovědi. Přiřazení první možnosti s tímto textem vedlo ke ztrátě 16 kreditů. Přiřazení poslední možnosti vedlo ke ztrátě 133 kreditů. Tato kontrola porovnává text přesně v podobě, v jaké je uložen v původním souboru ZIP.

## Porovnejte výsledky na stejných otázkách

Pokud odstraníme 148 dotčených řádků pouze tam, kde se vyskytují, zůstane v každém souboru 894 až 899 otázek. Dotčené řádky zahrnují 23 různých ID otázek. Pokud všech 23 ID odstraníme z každého souboru, zůstane v každém z nich stejných 877 otázek.

## Zjistěte, odkud výchozí texty pocházejí

V anglickém souboru odkazuje 513 otázek na stránky z původní vývojové části FLORES-200. U 417 z těchto otázek vznikne spojením původních vět FLORES ve správném pořadí přesně stejný výchozí text jako v Belebele. Počet přesných shod se liší mezi 116 dalšími soubory pro jednotlivé jazyky a písma, které mají oba archivy společné.

Zkontrolovali jsme také 45,279 řádků Belebele pocházejících z adres URL v části `devtest` datové sady FLORES-200, a to ve všech 117 společných souborech pro jednotlivé jazyky a písma včetně angličtiny. U 9 různých ID otázek obsahoval výchozí text alespoň v jednom souboru úplnou větu z vývojové části. Kontrola porovnává adresy URL zdrojů a přesné znění textu ve zdrojových archivech. [Dokumentace FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Původní archiv FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Ověřte pravidlo nejkratší odpovědi

Pravidlo, které vždy vybírá nejkratší odpověď, dosáhlo v celém testu Belebele výsledku 27.03%. Pravidlo počítá znaky po sjednocení ekvivalentních znaků Unicode a bílých znaků. Pokud má více možností stejnou nejkratší délku, rozdělí mezi ně rovnoměrně 1 bod a započítá pouze podíl označené odpovědi. Při náhodném výběru ze 4 možností se stejnou pravděpodobností je očekávaný výsledek 25%. Původní autoři Belebele použili překryv slov a délku odpovědí ke zjištění možných vodítek. Uvedli také výsledek 28% na 900 otázkách pro model, který pracoval se slovy bez ohledu na jejich pořadí. [Studie Belebele, oddíl 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Příloha A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Porovnejte výsledky s výchozím textem

Použili jsme stejných 900 ID otázek v angličtině a vietnamštině. Pravidlo vybírá možnost odpovědi s nejvyšším podílem různých slov, která se vyskytují v otázce nebo v dodaném výchozím textu. Pokud výchozí text chybí, používá pouze otázku. Při shodě se 1 bod mezi možnosti rovnoměrně rozdělí. Při každém nahrazení se použije výchozí text z jiné stránky, přičemž v obou jazycích pochází náhradní text ze stejné zdrojové stránky.

| Jazyk | Bez výchozího textu | První náhradní text | Příslušný výchozí text | Rozpětí výsledků pro 16 náhradních textů |
| --- | ---: | ---: | ---: | ---: |
| Angličtina | 24.60% | 26.38% | 28.72% | 24.60% až 27.89% |
| Vietnamština | 25.98% | 24.80% | 27.17% | 23.58% až 27.84% |

Příslušný výchozí text dosáhl lepšího výsledku než všech 16 náhradních textů v angličtině a než 15 z nich ve vietnamštině. Ve srovnání s použitím samotné otázky zvýšil příslušný výchozí text bodový zisk u 311 otázek v angličtině a 313 ve vietnamštině. Bodový zisk snížil u 218 otázek v angličtině a 234 ve vietnamštině. [Kód pro porovnání slov](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Souhrnné výsledky](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Změňte jazyk otázky

V anglických a vietnamských vývojových souborech MLQA se 511 ID otázek vyskytuje ve všech 4 kombinacích jazyka otázky a výchozího textu. U těchto ID zůstává při změně jazyka otázky z angličtiny na vietnamštinu a zachování anglického výchozího textu samotný text i seznam uznávaných odpovědí přesně stejný. Porovnání s tímto nastavením hodnotí oba běhy podle stejných anglických odpovědí. [Studie MLQA](https://aclanthology.org/2020.acl-main.653/) · [Uspořádání souborů MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Zopakujte kontrolu shody slov

Stáhněte si [původní archiv Belebele ve formátu ZIP](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [skript pro porovnání slov](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), jeho [pomocný skript v Pythonu](https://sapien1.com/research/reading-benchmark-evidence/check.py) a [uložené souhrnné výsledky](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Vložte je do stejné složky. Skript ověří kontrolní součet archivu a načte anglické a vietnamské soubory. Výsledky uvádí v bodových jednotkách, přičemž 12 jednotek odpovídá jedné správné odpovědi. K zopakování porovnání použijte Python 3.12.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
