# Как сравнивать результаты тестов чтения с выбором ответа на разных языках

Используйте одни и те же вопросы и правила оценки для каждого языка. Проверьте, нет ли повторяющихся вариантов ответа и отрывков, которые модель могла видеть раньше. В многоязычном тесте чтения Belebele мы скопировали номера правильных ответов из каждого файла и расположили их в порядке английских вопросов. При сопоставлении по номеру строки получилось 73,55%. При сопоставлении по ID вопроса — 100%. [Пересчёт результатов Belebele](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Сопоставьте каждый ответ с нужным вопросом

Сохраняйте язык, ID вопроса и номер или букву выбранного варианта вместе с ответом. Во всех 122 файлах Belebele одни и те же 900 ID вопросов, но в 52 файлах они идут в другом порядке, чем в английском. При сопоставлении по строкам 9 838 ответов, отнесённых не к тем вопросам, всё же получили баллы, поскольку номера вариантов случайно совпали. [Проверка порядка вопросов](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## Проверьте, совпадает ли текст двух вариантов

Представьте, что и B, и D содержат `12`, а правильным в файле отмечен B. Ответ `12` даёт текст. Для оценки по позиции нужна буква. В 148 строках Belebele текст отмеченного ответа повторяется. Когда мы скопировали его дословно, выбор первого совпавшего варианта стоил 16 баллов, а последнего — 133. Решите, оценивает ли тест обозначение варианта или его текст, и проверьте варианты по тому же правилу. [Повторяющиеся варианты](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## Сравните результаты на одних и тех же вопросах

Если убрать 148 строк с повторами только там, где они встречаются, в каждом языке останется от 894 до 899 вопросов. Чтобы сравнить одни и те же вопросы по всем языкам, исключите все 23 затронутых ID из каждого файла. Останется 877 общих вопросов. Укажите исходное число вопросов и сколько вы оценили. [Сравнение фильтров вопросов](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## Проверьте, какие отрывки модель могла видеть раньше

Если вы настраивали модель на наборе для разработки FLORES-200, проверьте, встречаются ли те же отрывки в Belebele. В английском файле 513 вопросов ссылаются на страницы из этого набора. В 417 из них объединение предложений FLORES в точности воспроизводит отрывок Belebele. Число точных совпадений различается в остальных 116 общих файлах языков и письменностей. Проверьте текст на языке, который тестируете. [Повторное использование английских отрывков](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [Повторное использование переведённых отрывков](https://sapien1.com/ru/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
