Výzkum
Jak ověřit, zda model využívá text
Položte modelu stejné otázky dvakrát, jednou s textem a jednou bez něj. Otázky, možnosti a pravidla hodnocení zachovejte. Porovnáním skóre zjistíte, nakolik text na těchto otázkách pomohl. U otázek s výběrem odpovědi zkuste navíc zadat jen možnosti. Pravidlo vybírat vždy nejkratší odpověď dosáhlo na celém testu Belebele 27,03 %. Při stejně pravděpodobném hádání má skóre očekávanou hodnotu 25 %. Kontrola délky odpovědí v Belebele
Měňte vždy jen jeden vstup
| Co model dostane | Co porovnat |
|---|---|
| Text, otázka a možnosti | Jak často odpoví správně se všemi podklady |
| Otázka a možnosti | Jak často odpoví správně bez textu |
| Pouze možnosti | Jak často odpoví správně jen podle možností |
Použijte stejný model a nastavení. Spočítejte, kolikrát přidání textu změnilo chybnou odpověď na správnou a kolikrát naopak. Tak vysvětlíte malou změnu skóre, když oba pokusy uspějí u různých otázek. U písemných odpovědí porovnejte první dva pokusy bez možností a použijte stejné uznávané odpovědi.
Podívejte se, které otázky dopadly jinak
Představte si, že model v obou pokusech správně odpoví na 70 ze 100 otázek. Po spárování podle ID je 62 správně v obou a 22 chybně v obou. Text napraví osm chybných odpovědí a z osmi správných udělá chybné. Skóre zůstane 70 %, ale u 16 otázek lze zkoumat, kde text pomohl nebo uškodil.
Zkuste jednoduché pravidlo podle společných slov
Autoři Belebele hledali vodítka ve společných slovech a délce odpovědí. Uvedli také výsledek 28 % na 900 otázkách u modelu, který sledoval výskyt slov bez ohledu na jejich pořadí. Studie Belebele, oddíl 3.2 · Příloha A.6
Na stejných 900 otázkách Belebele v angličtině a vietnamštině jsme použili pevné pravidlo. Zkusili jsme variantu bez textu, s příslušným textem a s textem z jiné stránky. U každé možnosti počítáme podíl jejích různých slov, která se objevují také v otázce nebo dodaném textu. Bez textu použijeme jen otázku. Vyhraje možnost s nejvyšším podílem. Při shodě na prvním místě rozdělíme bod rovným dílem a započítáme jen díl označené správné možnosti. Náhradní anglický i vietnamský text pochází pro každou otázku ze stejné jiné stránky v příslušném jazyce. Kód · Výsledky
| Jazyk | Bez textu | Text z jiné stránky | Příslušný text |
|---|---|---|---|
| Angličtina | 24.60% | 26.38% | 28.72% |
| Vietnamština | 25.98% | 24.80% | 27.17% |
V prvním srovnání dosáhl příslušný text nejvyššího skóre v obou jazycích. Poté jsme zkusili dalších 15 záměn. Ve všech 16 záměnách se skóre pohybovalo od 24,60 % do 27,89 % v angličtině a od 23,58 % do 27,84 % ve vietnamštině. Příslušný text překonal všech 16 záměn v angličtině a 15 ve vietnamštině. Zkuste více náhrad, aby závěr méně závisel na vybrané stránce. Výsledky všech záměn
Oproti pokusu bez textu přidal příslušný text body u 311 anglických a 313 vietnamských otázek. U 218 anglických a 234 vietnamských ubral. Porovnáváte-li pravidlo s modelem, vyhodnoťte obojí na stejných otázkách.
Zachovejte otázky i pravidla hodnocení
S každou odpovědí uložte ID otázky. 122 souborů Belebele sdílí 900 ID, ale 52 má jiné pořadí než anglický soubor. Pokud vyloučíte otázky s možnostmi stejného znění, odeberte stejná ID ze všech porovnávaných pokusů. Uložte písmeno možnosti, aby hodnoticí nástroj rozlišil dvě shodná znění. Ověření pořadí otázek · Filtr otázek
Zjistěte, co mohl model už vidět
Správná odpověď bez textu může vycházet z dřívějších znalostí, vodítek v otázce či možnostech nebo náhody. Pokud jste model ladili pomocí vývojové sady FLORES-200 a nyní ho chcete testovat na Belebele, můžete vyloučit otázky z těchto URL. Zkontrolujte i text. V původních souborech ještě devět otázek z jiných URL obsahovalo větu z vývojové sady alespoň v jednom z prověřených jazyků či druhů písma. Kontrola textů Belebele
Při změně jazyka otázky ponechte stejný text
Chcete-li zjistit vliv jiného jazyka otázky, porovnejte jej samostatně. V prověřených anglických a vietnamských souborech MLQA umožňuje 511 ID změnit jazyk otázky a zachovat beze změny anglický text i uznávané odpovědi. Oba pokusy posuzujte podle stejných anglických odpovědí. Spárované otázky MLQA