# Jak vybrat vícejazyčný test porozumění textu

Vyberte test, ve kterém model dělá to, co od něj lidé potřebují. Najít správný úryvek, odpovědět podle zadaného úryvku a porozumět otázce v jiném jazyce jsou různé dovednosti. Ověřte je zvlášť, abyste poznali, který krok potřebuje prověřit podrobněji.

| Co chcete ověřit | Čím začít | Co model dělá |
| --- | --- | --- |
| Najde správnou část článku? | TyDiQA-SelectP | Vybere úryvek z jednoho článku nebo uvede, že žádný z úryvků na otázku neodpovídá. |
| Najde slova, která odpovídají na otázku? | TyDiQA-GoldP | Vrátí slova odpovědi z úryvku, který je obsahuje. |
| Odpoví na stejné otázky v různých jazycích? | XQuAD nebo Belebele | V XQuAD odpovídá podle přeložených úryvků, v Belebele vybírá ze čtyř odpovědí. |
| Odpoví, když jsou otázka a úryvek v různých jazycích? | MLQA | Najde odpověď v úryvku napsaném v jiném jazyce. |

## Ověřte, zda model najde odpověď

Použijte TyDiQA-SelectP, když má model najít správný úryvek v článku. Použijte TyDiQA-MinSpan, když má navíc krátce odpovědět, říct ano či ne nebo uvést, že článek odpověď neobsahuje. Otázky TyDi QA lidé psali přímo v jednotlivých jazycích. [Popis úloh TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

Chcete-li zjistit, jak moc pomáhá kratší úryvek, požádejte stejný model dvakrát o písemnou odpověď. Jednou mu dejte celý článek a podruhé doslovně převzatý úryvek z téhož článku. Zachovejte stejné nastavení, otázku, formát odpovědi, uznávané odpovědi i pravidlo hodnocení. Ověřte, že se každá uznávaná odpověď objevuje v obou vstupech. Pokud použijete položku z Gold Passage v původní podobě, zkontrolujte úryvek a seznam odpovědí. Stejná otázka může být v obou souborech, i když se úryvek nebo uznávané odpovědi liší. Vývojové soubory TyDi QA vám pomohou srovnání připravit. Všech 5 077 otázek z Gold Passage se objevuje i v hlavní sadě s 18 670 otázkami. Gold Passage vynechává japonštinu a thajštinu i 1 285 otázek s vyznačenými písemnými odpověďmi v devíti společných jazycích. Párujte otázky podle jazyka, názvu článku a přesného znění. Použijte jen jednoznačné dvojice. [Porovnání otázek TyDi QA](https://sapien1.com/cs/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## Při porovnávání jazyků použijte stejné otázky

XQuAD předkládá modelu překlady stejných otázek a úryvků. Všech 1 190 anglických otázek pochází z vývojové sady SQuAD 1.1. Přeložené soubory, které jsme prověřili, mají stejná ID otázek. Pokud jste model ladili na vývojové sadě SQuAD, zkontrolujte překryv, než XQuAD použijete jako test s novými otázkami. [Původní článek o XQuAD](https://aclanthology.org/2020.acl-main.421/) · [Kontrola znovu použitých otázek](https://sapien1.com/cs/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

Použijte Belebele, když má model vybrat jednu ze čtyř odpovědí. Jeho 122 souborů pro různé jazyky a písma sdílí 900 ID otázek. Uložte číslo nebo písmeno zvolené možnosti. Dvě možnosti mohou mít stejný text a z pouhého znění pak nemusí být jasné, kterou model zvolil. Pokud dotčené otázky vyřadíte, použijte stejná zbývající ID ve všech porovnávaných jazycích. [Porovnat výsledky čtení v různých jazycích](https://sapien1.com/cs/research/cross-language-reading-scores)

## Změňte jazyk otázky a ponechte stejný úryvek

Použijte MLQA, když se třeba někdo může vietnamsky ptát na anglický dokument. V prověřených anglických a vietnamských vývojových souborech lze stejných 511 otázek položit v obou jazycích a ponechat přesně stejný anglický úryvek i uznávané odpovědi. Oba pokusy hodnoťte podle stejných anglických odpovědí. Uvidíte tak, co se při změně jazyka otázky změnilo. [Původní článek o MLQA](https://aclanthology.org/2020.acl-main.653/) · [Porovnání anglických a vietnamských souborů](https://sapien1.com/cs/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

Pokud chcete zvlášť ověřit přínos úryvku, položte stejné otázky s úryvkem i bez něj. [Ověřit, zda model využívá text](https://sapien1.com/cs/research/does-the-model-use-the-passage)

## Ověřte, že test pokrývá potřebný jazyk

Pro thajštinu použijte TyDiQA-SelectP, pokud chcete zjistit, jestli model najde správný úryvek, XQuAD, jestli v zadaném úryvku najde slova odpovědi, nebo Belebele, jestli vybere správnou odpověď. Vývojový soubor TyDiQA-GoldP nemá thajské otázky. Arabština a angličtina jsou jediné jazyky ve všech čtyřech porovnaných sadách: hlavní TyDi QA, TyDi QA Gold Passage, XQuAD a vývojové soubory MLQA se stejným jazykem otázky a úryvku. [Kontrola pokrytí jazyků](https://sapien1.com/cs/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Jazykové soubory Belebele](https://sapien1.com/cs/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

Při uvádění výsledků napište úlohu, jazyky a počet otázek, z nichž výsledek vychází. Oba oficiální způsoby hodnocení TyDi QA například vynechávají angličtinu z celkového průměru, přestože v souborech je. [Dokumentace hodnocení TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
