# Как проверить, использует ли модель отрывок

Задайте модели одни и те же вопросы дважды, с отрывком и без него. Сохраните вопросы, варианты ответа и правила оценки. Сравните результаты, чтобы понять, насколько помог отрывок. Для теста с выбором ответа проведите ещё одну проверку только с вариантами. Правило всегда выбирать самый короткий ответ дало 27,03% на полном тесте Belebele. При случайном выборе с равными вероятностями ожидается 25%. [Проверка длины ответов в Belebele](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## Меняйте только один элемент за раз

| Что получает модель | Что сравнивать |
| --- | --- |
| Отрывок, вопрос и варианты | Как часто она отвечает правильно со всеми данными |
| Вопрос и варианты | Как часто она отвечает правильно без отрывка |
| Только варианты | Как часто она отвечает правильно по одним вариантам |

Используйте одну и ту же модель и настройки. Посчитайте, сколько неверных ответов становятся верными после добавления отрывка, и сколько меняются наоборот. Эти числа объясняют небольшую разницу в результате, когда прогоны успешно отвечают на разные вопросы. Для письменных ответов сравните первые два прогона без вариантов и используйте одинаковый список допустимых ответов.

## Посмотрите, на каких вопросах изменился результат

Допустим, модель верно отвечает на 70 из 100 вопросов в обоих прогонах. После сопоставления по ID видно, что 62 ответа верны в обоих, а 22 неверны в обоих. Отрывок превращает восемь неверных ответов в верные и восемь верных в неверные. Результат остаётся 70%, но можно изучить 16 вопросов и увидеть, где отрывок помог или помешал.

## Попробуйте простое правило совпадения слов

Авторы Belebele искали подсказки в общих словах и длине ответов. Они также сообщили о результате 28% на 900 вопросах для модели, которая учитывала наличие слов без учёта их порядка. [Статья о Belebele, раздел 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [Приложение A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

Мы применили одно правило к тем же 900 вопросам Belebele на английском и вьетнамском. Использовали прогон без отрывка, с нужным отрывком или с отрывком с другой страницы. Для каждого варианта считаем долю его уникальных слов, которые встречаются в вопросе или данном отрывке. Без отрывка используем только вопрос. Правило выбирает вариант с наибольшей долей. При равенстве на первом месте делим один балл поровну и засчитываем только долю отмеченного правильного ответа. Для каждого вопроса английский и вьетнамский отрывки на замену взяты с одной и той же другой страницы, каждый на своём языке. [Код](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [Результаты](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| Язык | Без отрывка | Отрывок с другой страницы | Нужный отрывок |
| --- | ---: | ---: | ---: |
| Английский | 24.60% | 26.38% | 28.72% |
| Вьетнамский | 25.98% | 24.80% | 27.17% |

В первом сравнении нужный отрывок дал лучший результат на обоих языках. Затем мы испытали ещё 15 способов поменять отрывки. За все 16 замен оценки составили от 24,60% до 27,89% на английском и от 23,58% до 27,84% на вьетнамском. Нужный отрывок превзошёл все 16 замен на английском и 15 на вьетнамском. Попробуйте несколько замен, чтобы вывод меньше зависел от выбранной страницы. [Результаты всех замен](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

По сравнению с прогоном без отрывка нужный отрывок повысил оценку на 311 вопросах на английском и 313 на вьетнамском. Он снизил её на 218 английских и 234 вьетнамских вопросах. Если сравниваете правило с моделью, оценивайте их на одних вопросах.

## Сохраняйте вопросы и правила оценки

Сохраняйте ID вопроса вместе с ответом. В 122 файлах Belebele 900 общих ID, но в 52 файлах порядок отличается от английского. Если убираете вопросы с повторяющимся текстом вариантов, исключайте те же ID из всех сравниваемых прогонов. Сохраняйте букву варианта, чтобы при оценке можно было различить два одинаковых текста. [Проверка порядка вопросов](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [Фильтр вопросов](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Проверьте, что модель могла видеть раньше

Верный ответ без отрывка может опираться на прежние знания, подсказки в вопросе или вариантах либо случайную догадку. Если вы использовали набор для разработки FLORES-200 для настройки модели и теперь хотите проверить её на Belebele, можете исключить вопросы с этих URL. Проверьте и сам текст. В исходных файлах девять вопросов с других URL всё ещё содержали предложение из набора для разработки хотя бы на одном проверенном языке или в одной письменности. [Проверка отрывков Belebele](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## Сохраняйте отрывок при смене языка вопроса

Чтобы понять влияние смены языка вопроса, проведите это сравнение отдельно. В проверенных английских и вьетнамских файлах MLQA 511 ID позволяют сменить язык вопроса, полностью сохранив английский отрывок и допустимые ответы. Оцените оба прогона по одним и тем же английским ответам. [Сопоставленные вопросы MLQA](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
