Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak porovnat výsledky testů čtení s výběrem odpovědi v různých jazycích

Jazyk: Čeština

Ve všech jazycích použijte stejné otázky a pravidla hodnocení. Zkontrolujte možnosti se stejným zněním a texty, které už model mohl vidět. V mnohojazyčném testu čtení Belebele jsme z každého souboru opsali čísla správných odpovědí a seřadili je podle pořadí anglických otázek. Při párování podle čísla řádku vyšlo 73,55 %. Podle ID otázky vyšlo 100 %. Přepočet skóre Belebele

Přiřaďte každou odpověď ke správné otázce

Ke každé odpovědi uložte jazyk, ID otázky a číslo či písmeno vybrané možnosti. Všech 122 souborů Belebele má stejných 900 ID otázek, ale 52 souborů je uvádí v jiném pořadí než anglický. Při párování podle řádku získalo 9 838 chybně přiřazených odpovědí body, protože se čísla možností náhodou shodovala. Kontrola pořadí otázek

Zkontrolujte, zda dvě možnosti nemají stejný text

Představte si, že B i D uvádějí 12 a soubor označuje B za správnou. Odpověď 12 vám dá text. Pro hodnocení podle pozice potřebujete písmeno. Ve 148 řádcích Belebele se text označené odpovědi opakuje. Když jsme ho opsali přesně, výběrem první shody jsme přišli o 16 bodů, výběrem poslední o 133. Určete, zda hodnotíte označení možnosti, nebo text, a stejným pravidlem možnosti ověřte. Opakující se možnosti odpovědi

Porovnejte výsledky na stejných otázkách

Jestliže odstraníte 148 řádků s duplicitními odpověďmi pouze tam, kde se vyskytují, zůstane v každém jazyce 894 až 899 otázek. Chcete-li všude porovnat stejné otázky, odstraňte všech 23 dotčených ID z každého souboru. Zbude 877 společných otázek. Uveďte původní počet i počet vyhodnocených otázek. Srovnání filtrů otázek

Zjistěte, které texty mohl model už vidět

Pokud jste model ladili na vývojové sadě FLORES-200, ověřte, zda se stejné texty objevují v Belebele. V anglickém souboru odkazuje 513 otázek na stránky použité ve vývojové sadě. U 417 z nich složením vět z FLORES vznikne přesně text z Belebele. Počet přesných shod se liší mezi dalšími 116 společnými soubory pro jednotlivé jazyky a druhy písma. Ověřte text v jazyce, který testujete. Opětovné použití anglických textů · Opětovné použití přeložených textů