Данные для выбора многоязычного теста на понимание текста

Эти проверки сравнивают вопросы и языки в определённых версиях TyDi QA, XQuAD, MLQA и Belebele. Количество вопросов указано для файлов, использованных в руководстве.

Какие вопросы встречаются в обоих наборах файлов TyDi QA?

Мы сопоставили файлы для разработки по языку, названию статьи и точной формулировке вопроса. Каждой из 5,077 строк Gold Passage соответствовала одна из 18,670 строк основного набора. Для 9 общих языков в файле Gold Passage отсутствуют 1,285 строк основного набора, в которых хотя бы один разметчик указал письменный ответ. В основном файле для разработки есть японский и тайский языки, а в файле Gold Passage строк на этих двух языках нет.

Чтобы сравнить полную статью с более коротким входным текстом, дважды попросите одну и ту же модель дать письменный ответ. Скопируйте более короткий отрывок из статьи без изменений. Сохраните одинаковые настройки, вопрос, формат ответа, список допустимых ответов и правило оценки. Убедитесь, что каждый допустимый ответ встречается в обоих входных текстах. Если вы используете Gold Passage в исходном виде, проверьте отрывок и список ответов к нему. Сопоставление по вопросам показывает, какие вопросы встречаются в обоих файлах. Тексты отрывков и допустимые ответы могут различаться.

При оценке основного набора и Gold Passage авторы в обоих случаях исключают английский язык из общего среднего показателя.

Количество вопросов по языкам (JSON) · Скрипт сравнения (Python) · Основной файл для разработки, закреплённая версия · Файл Gold Passage для разработки, закреплённая версия · Официальные правила оценки

Сохраните два исходных файла под именами primary.parquet и gold.parquet. Сохраните скрипт и данные о количестве вопросов в той же папке, затем запустите сравнение. Перед чтением скрипт проверяет хеш-суммы обоих входных файлов.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

Какие вопросы XQuAD взяты из SQuAD?

Все 1,190 идентификаторов вопросов англоязычного XQuAD соответствуют вопросам в файле для разработки SQuAD 1.1. Для этих идентификаторов названия статей, отрывки и тексты вопросов совпадают в точности. Во всех 12 файлах проверенной нами версии XQuAD используются одни и те же идентификаторы, включая файл на румынском языке, добавленный после первоначального выпуска.

Количество вопросов и совпадений (JSON) · Оригинальная статья о XQuAD · Закреплённая версия XQuAD · Файл SQuAD для разработки, закреплённая версия

Что остаётся неизменным при смене языка вопроса в MLQA?

В четырёх англо-вьетнамских файлах для разработки используются 511 общих идентификаторов вопросов. При переходе с английских вопросов на вьетнамские с сохранением английского отрывка изменились все 511 вопросов, но ни один отрывок и ни один список допустимых ответов не изменились. При проверке сравниваются каждый отрывок и упорядоченный список допустимых ответов, включая сохранённые позиции ответов в тексте. Используйте одни и те же английские ответы для оценки обоих запусков.

Результаты сравнения файлов в числах (JSON) · Официальные файлы MLQA для скачивания · Оригинальная статья о MLQA

Какие языки входят в четыре набора файлов?

Мы проверили файлы для разработки основного набора и Gold Passage TyDi QA, закреплённую версию XQuAD и файлы MLQA для разработки, в которых вопрос и отрывок представлены на одном языке. Арабский и английский — единственные языки, которые входят во все четыре набора. Тайский есть в основном наборе TyDi QA и в XQuAD, но отсутствует в Gold Passage.

Коды языков по наборам файлов (JSON)

Где найти тест на тайском языке с выбором ответа?

В Belebele есть файл на тайском языке с именем tha_Thai.jsonl. Используйте его для вопросов, в которых модель должна прочитать отрывок и выбрать один из четырёх вариантов ответа.

Файл на тайском языке от авторов, закреплённая версия · Оригинальная статья о Belebele · Как сравнивать результаты тестов на понимание текста с выбором ответа на разных языках