# Как выбрать многоязычный тест на понимание текста

Выберите тест, в котором модель делает то, что нужно пользователям. Найти нужный отрывок, ответить по заданному отрывку и понять вопрос на другом языке — разные навыки. Проверьте их по отдельности, чтобы увидеть, какой шаг стоит изучить подробнее.

| Что проверить | С чего начать | Что делает модель |
| --- | --- | --- |
| Находит нужную часть статьи? | TyDiQA-SelectP | Выбирает отрывок из одной статьи или сообщает, что ни один отрывок не отвечает на вопрос. |
| Находит слова, которые отвечают на вопрос? | TyDiQA-GoldP | Извлекает слова ответа из отрывка, где они есть. |
| Отвечает на одни и те же вопросы на разных языках? | XQuAD или Belebele | Отвечает по переведённым отрывкам в XQuAD или выбирает один из четырёх ответов в Belebele. |
| Может ответить, если вопрос и отрывок на разных языках? | MLQA | Находит ответ в отрывке на другом языке. |

## Проверьте, находит ли модель ответ

Используйте TyDiQA-SelectP, если модели нужно найти подходящий отрывок в статье. Используйте TyDiQA-MinSpan, если ей также нужно дать короткий ответ, ответить «да» или «нет» либо указать, что в статье нет ответа. Вопросы для TyDi QA люди писали сразу на каждом из языков. [Описание задач TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

Чтобы узнать, насколько помогает короткий отрывок, дважды попросите одну и ту же модель дать письменный ответ. В первый раз дайте статью целиком, во второй — дословный отрывок из неё. Оставьте прежними настройки, вопрос, формат ответа, допустимые ответы и правило оценки. Убедитесь, что каждый допустимый ответ есть в обоих текстах. Если используете запись Gold Passage в исходном виде, проверьте отрывок и список ответов. В файлах может быть один и тот же вопрос при разных отрывках или допустимых ответах. Файлы для разработки TyDi QA помогут подготовить сравнение. Все 5 077 вопросов Gold Passage есть и в основном наборе из 18 670 вопросов. В Gold Passage нет японского и тайского, а в девяти общих языках отсутствуют 1 285 вопросов с отмеченными письменными ответами. Сопоставляйте вопросы по языку, заголовку статьи и точной формулировке. Используйте только пары с однозначным совпадением. [Сравнение вопросов TyDi QA](https://sapien1.com/ru/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## Сравнивайте языки на одних и тех же вопросах

XQuAD даёт модели переводы одних и тех же вопросов и отрывков. Все 1 190 вопросов на английском взяты из набора для разработки SQuAD 1.1. В проверенных файлах с переводами те же ID вопросов. Если вы настраивали модель на наборе для разработки SQuAD, проверьте совпадающие вопросы, прежде чем использовать XQuAD как тест с новыми вопросами. [Исходная статья о XQuAD](https://aclanthology.org/2020.acl-main.421/) · [Проверка повторно использованных вопросов](https://sapien1.com/ru/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

Используйте Belebele, если модель должна выбрать один из четырёх ответов. В его 122 файлах для разных языков и письменностей одни и те же 900 ID вопросов. Сохраняйте номер или букву выбранного варианта. У двух вариантов бывает одинаковый текст, и по одному тексту может быть неясно, какой вариант выбран. Если исключаете такие вопросы, используйте одни и те же оставшиеся ID во всех языках, которые сравниваете. [Сравнить результаты чтения на разных языках](https://sapien1.com/ru/research/cross-language-reading-scores)

## Меняйте язык вопроса, сохраняя тот же отрывок

Используйте MLQA, если, например, человек может задать вопрос на вьетнамском об английском документе. В проверенных английских и вьетнамских файлах для разработки 511 общих вопросов можно задать на любом из двух языков, сохранив в точности английский отрывок и допустимые ответы. Оценивайте оба прогона по одним и тем же английским ответам. Так вы увидите, что меняется при смене языка вопроса. [Исходная статья о MLQA](https://aclanthology.org/2020.acl-main.653/) · [Сравнение английских и вьетнамских файлов](https://sapien1.com/ru/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

Чтобы отдельно проверить, насколько помогает отрывок, задайте одни и те же вопросы с отрывком и без него. [Проверить, использует ли модель отрывок](https://sapien1.com/ru/research/does-the-model-use-the-passage)

## Проверьте, есть ли нужный язык в тесте

Для тайского используйте TyDiQA-SelectP, чтобы проверить поиск нужного отрывка, XQuAD — чтобы проверить поиск слов ответа в заданном отрывке, или Belebele — чтобы проверить выбор правильного ответа. В файле для разработки TyDiQA-GoldP нет вопросов на тайском. Только арабский и английский есть во всех четырёх сравниваемых наборах: основной TyDi QA, TyDi QA Gold Passage, XQuAD и файлы для разработки MLQA, где вопрос и отрывок на одном языке. [Проверка охвата языков](https://sapien1.com/ru/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [Языковые файлы Belebele](https://sapien1.com/ru/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

При публикации результатов указывайте задачу, языки и число вопросов, вошедших в каждый результат. Например, оба официальных способа оценки TyDi QA исключают английский из общего среднего, хотя он есть в файлах. [Документация по оценке TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
