Перейти к основному содержанию

Меню

Исследования

Как выбрать многоязычный тест на понимание текста

Язык: Русский

Выберите тест, в котором модель делает то, что нужно пользователям. Найти нужный отрывок, ответить по заданному отрывку и понять вопрос на другом языке — разные навыки. Проверьте их по отдельности, чтобы увидеть, какой шаг стоит изучить подробнее.

Что проверитьС чего начатьЧто делает модель
Находит нужную часть статьи?TyDiQA-SelectPВыбирает отрывок из одной статьи или сообщает, что ни один отрывок не отвечает на вопрос.
Находит слова, которые отвечают на вопрос?TyDiQA-GoldPИзвлекает слова ответа из отрывка, где они есть.
Отвечает на одни и те же вопросы на разных языках?XQuAD или BelebeleОтвечает по переведённым отрывкам в XQuAD или выбирает один из четырёх ответов в Belebele.
Может ответить, если вопрос и отрывок на разных языках?MLQAНаходит ответ в отрывке на другом языке.

Проверьте, находит ли модель ответ

Используйте TyDiQA-SelectP, если модели нужно найти подходящий отрывок в статье. Используйте TyDiQA-MinSpan, если ей также нужно дать короткий ответ, ответить «да» или «нет» либо указать, что в статье нет ответа. Вопросы для TyDi QA люди писали сразу на каждом из языков. Описание задач TyDi QA

Чтобы узнать, насколько помогает короткий отрывок, дважды попросите одну и ту же модель дать письменный ответ. В первый раз дайте статью целиком, во второй — дословный отрывок из неё. Оставьте прежними настройки, вопрос, формат ответа, допустимые ответы и правило оценки. Убедитесь, что каждый допустимый ответ есть в обоих текстах. Если используете запись Gold Passage в исходном виде, проверьте отрывок и список ответов. В файлах может быть один и тот же вопрос при разных отрывках или допустимых ответах. Файлы для разработки TyDi QA помогут подготовить сравнение. Все 5 077 вопросов Gold Passage есть и в основном наборе из 18 670 вопросов. В Gold Passage нет японского и тайского, а в девяти общих языках отсутствуют 1 285 вопросов с отмеченными письменными ответами. Сопоставляйте вопросы по языку, заголовку статьи и точной формулировке. Используйте только пары с однозначным совпадением. Сравнение вопросов TyDi QA

Сравнивайте языки на одних и тех же вопросах

XQuAD даёт модели переводы одних и тех же вопросов и отрывков. Все 1 190 вопросов на английском взяты из набора для разработки SQuAD 1.1. В проверенных файлах с переводами те же ID вопросов. Если вы настраивали модель на наборе для разработки SQuAD, проверьте совпадающие вопросы, прежде чем использовать XQuAD как тест с новыми вопросами. Исходная статья о XQuAD · Проверка повторно использованных вопросов

Используйте Belebele, если модель должна выбрать один из четырёх ответов. В его 122 файлах для разных языков и письменностей одни и те же 900 ID вопросов. Сохраняйте номер или букву выбранного варианта. У двух вариантов бывает одинаковый текст, и по одному тексту может быть неясно, какой вариант выбран. Если исключаете такие вопросы, используйте одни и те же оставшиеся ID во всех языках, которые сравниваете. Сравнить результаты чтения на разных языках

Меняйте язык вопроса, сохраняя тот же отрывок

Используйте MLQA, если, например, человек может задать вопрос на вьетнамском об английском документе. В проверенных английских и вьетнамских файлах для разработки 511 общих вопросов можно задать на любом из двух языков, сохранив в точности английский отрывок и допустимые ответы. Оценивайте оба прогона по одним и тем же английским ответам. Так вы увидите, что меняется при смене языка вопроса. Исходная статья о MLQA · Сравнение английских и вьетнамских файлов

Чтобы отдельно проверить, насколько помогает отрывок, задайте одни и те же вопросы с отрывком и без него. Проверить, использует ли модель отрывок

Проверьте, есть ли нужный язык в тесте

Для тайского используйте TyDiQA-SelectP, чтобы проверить поиск нужного отрывка, XQuAD — чтобы проверить поиск слов ответа в заданном отрывке, или Belebele — чтобы проверить выбор правильного ответа. В файле для разработки TyDiQA-GoldP нет вопросов на тайском. Только арабский и английский есть во всех четырёх сравниваемых наборах: основной TyDi QA, TyDi QA Gold Passage, XQuAD и файлы для разработки MLQA, где вопрос и отрывок на одном языке. Проверка охвата языков · Языковые файлы Belebele

При публикации результатов указывайте задачу, языки и число вопросов, вошедших в каждый результат. Например, оба официальных способа оценки TyDi QA исключают английский из общего среднего, хотя он есть в файлах. Документация по оценке TyDi QA