Výzkum
Jak vybrat vícejazyčný test porozumění textu
Vyberte test, ve kterém model dělá to, co od něj lidé potřebují. Najít správný úryvek, odpovědět podle zadaného úryvku a porozumět otázce v jiném jazyce jsou různé dovednosti. Ověřte je zvlášť, abyste poznali, který krok potřebuje prověřit podrobněji.
| Co chcete ověřit | Čím začít | Co model dělá |
|---|---|---|
| Najde správnou část článku? | TyDiQA-SelectP | Vybere úryvek z jednoho článku nebo uvede, že žádný z úryvků na otázku neodpovídá. |
| Najde slova, která odpovídají na otázku? | TyDiQA-GoldP | Vrátí slova odpovědi z úryvku, který je obsahuje. |
| Odpoví na stejné otázky v různých jazycích? | XQuAD nebo Belebele | V XQuAD odpovídá podle přeložených úryvků, v Belebele vybírá ze čtyř odpovědí. |
| Odpoví, když jsou otázka a úryvek v různých jazycích? | MLQA | Najde odpověď v úryvku napsaném v jiném jazyce. |
Ověřte, zda model najde odpověď
Použijte TyDiQA-SelectP, když má model najít správný úryvek v článku. Použijte TyDiQA-MinSpan, když má navíc krátce odpovědět, říct ano či ne nebo uvést, že článek odpověď neobsahuje. Otázky TyDi QA lidé psali přímo v jednotlivých jazycích. Popis úloh TyDi QA
Chcete-li zjistit, jak moc pomáhá kratší úryvek, požádejte stejný model dvakrát o písemnou odpověď. Jednou mu dejte celý článek a podruhé doslovně převzatý úryvek z téhož článku. Zachovejte stejné nastavení, otázku, formát odpovědi, uznávané odpovědi i pravidlo hodnocení. Ověřte, že se každá uznávaná odpověď objevuje v obou vstupech. Pokud použijete položku z Gold Passage v původní podobě, zkontrolujte úryvek a seznam odpovědí. Stejná otázka může být v obou souborech, i když se úryvek nebo uznávané odpovědi liší. Vývojové soubory TyDi QA vám pomohou srovnání připravit. Všech 5 077 otázek z Gold Passage se objevuje i v hlavní sadě s 18 670 otázkami. Gold Passage vynechává japonštinu a thajštinu i 1 285 otázek s vyznačenými písemnými odpověďmi v devíti společných jazycích. Párujte otázky podle jazyka, názvu článku a přesného znění. Použijte jen jednoznačné dvojice. Porovnání otázek TyDi QA
Při porovnávání jazyků použijte stejné otázky
XQuAD předkládá modelu překlady stejných otázek a úryvků. Všech 1 190 anglických otázek pochází z vývojové sady SQuAD 1.1. Přeložené soubory, které jsme prověřili, mají stejná ID otázek. Pokud jste model ladili na vývojové sadě SQuAD, zkontrolujte překryv, než XQuAD použijete jako test s novými otázkami. Původní článek o XQuAD · Kontrola znovu použitých otázek
Použijte Belebele, když má model vybrat jednu ze čtyř odpovědí. Jeho 122 souborů pro různé jazyky a písma sdílí 900 ID otázek. Uložte číslo nebo písmeno zvolené možnosti. Dvě možnosti mohou mít stejný text a z pouhého znění pak nemusí být jasné, kterou model zvolil. Pokud dotčené otázky vyřadíte, použijte stejná zbývající ID ve všech porovnávaných jazycích. Porovnat výsledky čtení v různých jazycích
Změňte jazyk otázky a ponechte stejný úryvek
Použijte MLQA, když se třeba někdo může vietnamsky ptát na anglický dokument. V prověřených anglických a vietnamských vývojových souborech lze stejných 511 otázek položit v obou jazycích a ponechat přesně stejný anglický úryvek i uznávané odpovědi. Oba pokusy hodnoťte podle stejných anglických odpovědí. Uvidíte tak, co se při změně jazyka otázky změnilo. Původní článek o MLQA · Porovnání anglických a vietnamských souborů
Pokud chcete zvlášť ověřit přínos úryvku, položte stejné otázky s úryvkem i bez něj. Ověřit, zda model využívá text
Ověřte, že test pokrývá potřebný jazyk
Pro thajštinu použijte TyDiQA-SelectP, pokud chcete zjistit, jestli model najde správný úryvek, XQuAD, jestli v zadaném úryvku najde slova odpovědi, nebo Belebele, jestli vybere správnou odpověď. Vývojový soubor TyDiQA-GoldP nemá thajské otázky. Arabština a angličtina jsou jediné jazyky ve všech čtyřech porovnaných sadách: hlavní TyDi QA, TyDi QA Gold Passage, XQuAD a vývojové soubory MLQA se stejným jazykem otázky a úryvku. Kontrola pokrytí jazyků · Jazykové soubory Belebele
Při uvádění výsledků napište úlohu, jazyky a počet otázek, z nichž výsledek vychází. Oba oficiální způsoby hodnocení TyDi QA například vynechávají angličtinu z celkového průměru, přestože v souborech je. Dokumentace hodnocení TyDi QA