# Jak porovnat výsledky testů čtení s výběrem odpovědi v různých jazycích

Ve všech jazycích použijte stejné otázky a pravidla hodnocení. Zkontrolujte možnosti se stejným zněním a texty, které už model mohl vidět. V mnohojazyčném testu čtení Belebele jsme z každého souboru opsali čísla správných odpovědí a seřadili je podle pořadí anglických otázek. Při párování podle čísla řádku vyšlo 73,55 %. Podle ID otázky vyšlo 100 %. [Přepočet skóre Belebele](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Přiřaďte každou odpověď ke správné otázce

Ke každé odpovědi uložte jazyk, ID otázky a číslo či písmeno vybrané možnosti. Všech 122 souborů Belebele má stejných 900 ID otázek, ale 52 souborů je uvádí v jiném pořadí než anglický. Při párování podle řádku získalo 9 838 chybně přiřazených odpovědí body, protože se čísla možností náhodou shodovala. [Kontrola pořadí otázek](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Zkontrolujte, zda dvě možnosti nemají stejný text

Představte si, že B i D uvádějí `12` a soubor označuje B za správnou. Odpověď `12` vám dá text. Pro hodnocení podle pozice potřebujete písmeno. Ve 148 řádcích Belebele se text označené odpovědi opakuje. Když jsme ho opsali přesně, výběrem první shody jsme přišli o 16 bodů, výběrem poslední o 133. Určete, zda hodnotíte označení možnosti, nebo text, a stejným pravidlem možnosti ověřte. [Opakující se možnosti odpovědi](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Porovnejte výsledky na stejných otázkách

Jestliže odstraníte 148 řádků s duplicitními odpověďmi pouze tam, kde se vyskytují, zůstane v každém jazyce 894 až 899 otázek. Chcete-li všude porovnat stejné otázky, odstraňte všech 23 dotčených ID z každého souboru. Zbude 877 společných otázek. Uveďte původní počet i počet vyhodnocených otázek. [Srovnání filtrů otázek](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Zjistěte, které texty mohl model už vidět

Pokud jste model ladili na vývojové sadě FLORES-200, ověřte, zda se stejné texty objevují v Belebele. V anglickém souboru odkazuje 513 otázek na stránky použité ve vývojové sadě. U 417 z nich složením vět z FLORES vznikne přesně text z Belebele. Počet přesných shod se liší mezi dalšími 116 společnými soubory pro jednotlivé jazyky a druhy písma. Ověřte text v jazyce, který testujete. [Opětovné použití anglických textů](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Opětovné použití přeložených textů](https://sapien1.com/cs/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
