Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak ověřit, zda model využívá text

Jazyk: Čeština

Položte modelu stejné otázky dvakrát, jednou s textem a jednou bez něj. Otázky, možnosti a pravidla hodnocení zachovejte. Porovnáním skóre zjistíte, nakolik text na těchto otázkách pomohl. U otázek s výběrem odpovědi zkuste navíc zadat jen možnosti. Pravidlo vybírat vždy nejkratší odpověď dosáhlo na celém testu Belebele 27,03 %. Při stejně pravděpodobném hádání má skóre očekávanou hodnotu 25 %. Kontrola délky odpovědí v Belebele

Měňte vždy jen jeden vstup

Co model dostaneCo porovnat
Text, otázka a možnostiJak často odpoví správně se všemi podklady
Otázka a možnostiJak často odpoví správně bez textu
Pouze možnostiJak často odpoví správně jen podle možností

Použijte stejný model a nastavení. Spočítejte, kolikrát přidání textu změnilo chybnou odpověď na správnou a kolikrát naopak. Tak vysvětlíte malou změnu skóre, když oba pokusy uspějí u různých otázek. U písemných odpovědí porovnejte první dva pokusy bez možností a použijte stejné uznávané odpovědi.

Podívejte se, které otázky dopadly jinak

Představte si, že model v obou pokusech správně odpoví na 70 ze 100 otázek. Po spárování podle ID je 62 správně v obou a 22 chybně v obou. Text napraví osm chybných odpovědí a z osmi správných udělá chybné. Skóre zůstane 70 %, ale u 16 otázek lze zkoumat, kde text pomohl nebo uškodil.

Zkuste jednoduché pravidlo podle společných slov

Autoři Belebele hledali vodítka ve společných slovech a délce odpovědí. Uvedli také výsledek 28 % na 900 otázkách u modelu, který sledoval výskyt slov bez ohledu na jejich pořadí. Studie Belebele, oddíl 3.2 · Příloha A.6

Na stejných 900 otázkách Belebele v angličtině a vietnamštině jsme použili pevné pravidlo. Zkusili jsme variantu bez textu, s příslušným textem a s textem z jiné stránky. U každé možnosti počítáme podíl jejích různých slov, která se objevují také v otázce nebo dodaném textu. Bez textu použijeme jen otázku. Vyhraje možnost s nejvyšším podílem. Při shodě na prvním místě rozdělíme bod rovným dílem a započítáme jen díl označené správné možnosti. Náhradní anglický i vietnamský text pochází pro každou otázku ze stejné jiné stránky v příslušném jazyce. Kód · Výsledky

JazykBez textuText z jiné stránkyPříslušný text
Angličtina24.60%26.38%28.72%
Vietnamština25.98%24.80%27.17%

V prvním srovnání dosáhl příslušný text nejvyššího skóre v obou jazycích. Poté jsme zkusili dalších 15 záměn. Ve všech 16 záměnách se skóre pohybovalo od 24,60 % do 27,89 % v angličtině a od 23,58 % do 27,84 % ve vietnamštině. Příslušný text překonal všech 16 záměn v angličtině a 15 ve vietnamštině. Zkuste více náhrad, aby závěr méně závisel na vybrané stránce. Výsledky všech záměn

Oproti pokusu bez textu přidal příslušný text body u 311 anglických a 313 vietnamských otázek. U 218 anglických a 234 vietnamských ubral. Porovnáváte-li pravidlo s modelem, vyhodnoťte obojí na stejných otázkách.

Zachovejte otázky i pravidla hodnocení

S každou odpovědí uložte ID otázky. 122 souborů Belebele sdílí 900 ID, ale 52 má jiné pořadí než anglický soubor. Pokud vyloučíte otázky s možnostmi stejného znění, odeberte stejná ID ze všech porovnávaných pokusů. Uložte písmeno možnosti, aby hodnoticí nástroj rozlišil dvě shodná znění. Ověření pořadí otázek · Filtr otázek

Zjistěte, co mohl model už vidět

Správná odpověď bez textu může vycházet z dřívějších znalostí, vodítek v otázce či možnostech nebo náhody. Pokud jste model ladili pomocí vývojové sady FLORES-200 a nyní ho chcete testovat na Belebele, můžete vyloučit otázky z těchto URL. Zkontrolujte i text. V původních souborech ještě devět otázek z jiných URL obsahovalo větu z vývojové sady alespoň v jednom z prověřených jazyků či druhů písma. Kontrola textů Belebele

Při změně jazyka otázky ponechte stejný text

Chcete-li zjistit vliv jiného jazyka otázky, porovnejte jej samostatně. V prověřených anglických a vietnamských souborech MLQA umožňuje 511 ID změnit jazyk otázky a zachovat beze změny anglický text i uznávané odpovědi. Oba pokusy posuzujte podle stejných anglických odpovědí. Spárované otázky MLQA