Данные для руководств по тестам чтения

Для этих проверок использованы исходные архивы Belebele и FLORES-200, а также общедоступные файлы MLQA для разработки. В Belebele к каждому вопросу предлагаются 4 варианта ответа. В исходном ZIP-архиве все 122 файлов для разных языков и систем письма содержат одни и те же 900 идентификаторов вопросов. В этих файлах каждый идентификатор объединяет URL источника и номер вопроса. Статья о Belebele · Скачивание и формат Belebele

Сопоставьте каждый ответ с нужным вопросом

Мы скопировали номера отмеченных ответов из каждого файла Belebele и расположили их в порядке вопросов на английском языке. В 52 файлах вопросы расположены в другом порядке. При сопоставлении скопированных ответов с вопросами в каждом файле по номеру строки результат составил 73.55%. При сопоставлении по идентификатору вопроса результат составил 100% для 109,800 строк. При сопоставлении по номеру строки 38,876 ответов были отнесены к другим вопросам. Из них 9,838 всё же были засчитаны, поскольку номера ответов совпали.

Проверьте, совпадает ли текст двух вариантов

В 148 строках текст ещё одного варианта в точности совпадает с текстом отмеченного ответа. Мы скопировали текст отмеченного ответа из каждой строки. Если выбирать первый вариант с таким текстом, теряется 16 баллов. Если выбирать последний, теряется 133 балла. При этой проверке текст сравнивается в точности в том виде, в котором он хранится в исходном ZIP-архиве.

Сравните результаты на одних и тех же вопросах

Если удалить 148 строк с совпадающими вариантами только из тех файлов, в которых они встречаются, в каждом файле останется от 894 до 899 вопросов. Эти строки охватывают 23 разных идентификатора вопросов. Если удалить все 23 идентификатора из каждого файла, в каждом останутся одни и те же 877 вопросов.

Проверьте, откуда взяты отрывки

В файле на английском языке 513 вопросов ссылаются на страницы из исходной части FLORES-200 для разработки. Для 417 из этих вопросов последовательное объединение исходных предложений FLORES в точности воспроизводит отрывок Belebele. Количество точных совпадений различается в остальных 116 файлах для разных языков и систем письма, общих для обоих архивов.

Мы также проверили 45,279 строк Belebele с URL из части devtest набора FLORES-200 во всех 117 файлах для разных языков и систем письма, общих для обоих архивов, включая английский. Для каждого из 9 разных идентификаторов вопросов хотя бы в одном файле нашёлся отрывок, содержащий полное предложение из части для разработки. При проверке сопоставлялись URL источников и точный текст в исходных архивах. Документация FLORES-200 · Исходный архив FLORES-200

Проверьте правило выбора самого короткого ответа

При постоянном выборе самого короткого ответа результат на всём тесте Belebele составил 27.03%. По этому правилу символы подсчитываются после приведения эквивалентных символов Unicode и пробельных символов к единому виду. Если несколько вариантов одинаково коротки, один балл делится между ними поровну и учитывается только доля отмеченного ответа. При равновероятном случайном выборе из 4 вариантов ожидаемый результат составляет 25%. Авторы Belebele проверяли, содержат ли варианты подсказки, с помощью пересечения слов и длины ответов. Они также сообщили о результате 28% на 900 вопросах для модели, которая использовала слова без учёта их порядка. Статья о Belebele, раздел 3.2 · Приложение A.6

Сравните результаты с разными отрывками

Мы использовали одни и те же 900 идентификаторов вопросов на английском и вьетнамском языках. По этому правилу выбирается вариант ответа с наибольшей долей уникальных слов, встречающихся в вопросе или предоставленном отрывке. Если отрывка нет, используется только вопрос. Если несколько вариантов получают одинаковый результат, один балл делится между ними поровну. При каждом запуске с заменой используется отрывок с другой страницы, причём для обоих языков берётся одна и та же страница-источник.

Язык Без отрывка Первая замена Исходный отрывок Диапазон результатов для 16 замен
Английский 24.60% 26.38% 28.72% От 24.60% до 27.89%
Вьетнамский 25.98% 24.80% 27.17% От 23.58% до 27.84%

На английском языке результат с исходным отрывком был выше, чем со всеми 16 заменами, а на вьетнамском — выше, чем с 15 заменами. По сравнению с проверкой без отрывка исходный отрывок увеличил число засчитанных баллов для 311 вопросов на английском и 313 вопросов на вьетнамском. Число засчитанных баллов уменьшилось для 218 вопросов на английском и 234 вопросов на вьетнамском. Код для сопоставления слов · Сводные результаты

Измените язык вопроса

В английских и вьетнамских файлах MLQA для разработки 511 идентификатор вопроса встречается во всех 4 сочетаниях языков вопроса и отрывка. Для этих идентификаторов при изменении языка вопроса с английского на вьетнамский с сохранением английского отрывка сам отрывок и список принимаемых ответов остаются в точности одинаковыми. При таком сравнении оба запуска оцениваются по одним и тем же английским ответам. Статья о MLQA · Структура файлов MLQA

Повторите проверку сопоставления слов

Скачайте исходный ZIP-архив Belebele, скрипт сопоставления слов, вспомогательный скрипт Python и сохранённые сводные результаты. Поместите их в одну папку. Скрипт проверяет хеш архива и считывает файлы на английском и вьетнамском языках. Результаты выводятся в зачётных единицах: 12 единиц соответствуют одному правильному ответу. Чтобы повторить сравнение, используйте Python 3.12.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json