# Данные для руководств по тестам чтения

Для этих проверок использованы исходные архивы Belebele и FLORES-200, а также общедоступные файлы MLQA для разработки. В Belebele к каждому вопросу предлагаются 4 варианта ответа. В исходном ZIP-архиве все 122 файлов для разных языков и систем письма содержат одни и те же 900 идентификаторов вопросов. В этих файлах каждый идентификатор объединяет URL источника и номер вопроса. [Статья о Belebele](https://aclanthology.org/2024.acl-long.44/) · [Скачивание и формат Belebele](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## Сопоставьте каждый ответ с нужным вопросом

Мы скопировали номера отмеченных ответов из каждого файла Belebele и расположили их в порядке вопросов на английском языке. В 52 файлах вопросы расположены в другом порядке. При сопоставлении скопированных ответов с вопросами в каждом файле по номеру строки результат составил 73.55%. При сопоставлении по идентификатору вопроса результат составил 100% для 109,800 строк. При сопоставлении по номеру строки 38,876 ответов были отнесены к другим вопросам. Из них 9,838 всё же были засчитаны, поскольку номера ответов совпали.

## Проверьте, совпадает ли текст двух вариантов

В 148 строках текст ещё одного варианта в точности совпадает с текстом отмеченного ответа. Мы скопировали текст отмеченного ответа из каждой строки. Если выбирать первый вариант с таким текстом, теряется 16 баллов. Если выбирать последний, теряется 133 балла. При этой проверке текст сравнивается в точности в том виде, в котором он хранится в исходном ZIP-архиве.

## Сравните результаты на одних и тех же вопросах

Если удалить 148 строк с совпадающими вариантами только из тех файлов, в которых они встречаются, в каждом файле останется от 894 до 899 вопросов. Эти строки охватывают 23 разных идентификатора вопросов. Если удалить все 23 идентификатора из каждого файла, в каждом останутся одни и те же 877 вопросов.

## Проверьте, откуда взяты отрывки

В файле на английском языке 513 вопросов ссылаются на страницы из исходной части FLORES-200 для разработки. Для 417 из этих вопросов последовательное объединение исходных предложений FLORES в точности воспроизводит отрывок Belebele. Количество точных совпадений различается в остальных 116 файлах для разных языков и систем письма, общих для обоих архивов.

Мы также проверили 45,279 строк Belebele с URL из части `devtest` набора FLORES-200 во всех 117 файлах для разных языков и систем письма, общих для обоих архивов, включая английский. Для каждого из 9 разных идентификаторов вопросов хотя бы в одном файле нашёлся отрывок, содержащий полное предложение из части для разработки. При проверке сопоставлялись URL источников и точный текст в исходных архивах. [Документация FLORES-200](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [Исходный архив FLORES-200](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## Проверьте правило выбора самого короткого ответа

При постоянном выборе самого короткого ответа результат на всём тесте Belebele составил 27.03%. По этому правилу символы подсчитываются после приведения эквивалентных символов Unicode и пробельных символов к единому виду. Если несколько вариантов одинаково коротки, один балл делится между ними поровну и учитывается только доля отмеченного ответа. При равновероятном случайном выборе из 4 вариантов ожидаемый результат составляет 25%. Авторы Belebele проверяли, содержат ли варианты подсказки, с помощью пересечения слов и длины ответов. Они также сообщили о результате 28% на 900 вопросах для модели, которая использовала слова без учёта их порядка. [Статья о Belebele, раздел 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Приложение A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## Сравните результаты с разными отрывками

Мы использовали одни и те же 900 идентификаторов вопросов на английском и вьетнамском языках. По этому правилу выбирается вариант ответа с наибольшей долей уникальных слов, встречающихся в вопросе или предоставленном отрывке. Если отрывка нет, используется только вопрос. Если несколько вариантов получают одинаковый результат, один балл делится между ними поровну. При каждом запуске с заменой используется отрывок с другой страницы, причём для обоих языков берётся одна и та же страница-источник.

| Язык | Без отрывка | Первая замена | Исходный отрывок | Диапазон результатов для 16 замен |
| --- | ---: | ---: | ---: | ---: |
| Английский | 24.60% | 26.38% | 28.72% | От 24.60% до 27.89% |
| Вьетнамский | 25.98% | 24.80% | 27.17% | От 23.58% до 27.84% |

На английском языке результат с исходным отрывком был выше, чем со всеми 16 заменами, а на вьетнамском — выше, чем с 15 заменами. По сравнению с проверкой без отрывка исходный отрывок увеличил число засчитанных баллов для 311 вопросов на английском и 313 вопросов на вьетнамском. Число засчитанных баллов уменьшилось для 218 вопросов на английском и 234 вопросов на вьетнамском. [Код для сопоставления слов](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Сводные результаты](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## Измените язык вопроса

В английских и вьетнамских файлах MLQA для разработки 511 идентификатор вопроса встречается во всех 4 сочетаниях языков вопроса и отрывка. Для этих идентификаторов при изменении языка вопроса с английского на вьетнамский с сохранением английского отрывка сам отрывок и список принимаемых ответов остаются в точности одинаковыми. При таком сравнении оба запуска оцениваются по одним и тем же английским ответам. [Статья о MLQA](https://aclanthology.org/2020.acl-main.653/) · [Структура файлов MLQA](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## Повторите проверку сопоставления слов

Скачайте [исходный ZIP-архив Belebele](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [скрипт сопоставления слов](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), [вспомогательный скрипт Python](https://sapien1.com/research/reading-benchmark-evidence/check.py) и [сохранённые сводные результаты](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json). Поместите их в одну папку. Скрипт проверяет хеш архива и считывает файлы на английском и вьетнамском языках. Результаты выводятся в зачётных единицах: 12 единиц соответствуют одному правильному ответу. Чтобы повторить сравнение, используйте Python 3.12.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
