Перейти к основному содержанию

Меню

Исследования

Как сравнивать результаты тестов чтения с выбором ответа на разных языках

Язык: Русский

Используйте одни и те же вопросы и правила оценки для каждого языка. Проверьте, нет ли повторяющихся вариантов ответа и отрывков, которые модель могла видеть раньше. В многоязычном тесте чтения Belebele мы скопировали номера правильных ответов из каждого файла и расположили их в порядке английских вопросов. При сопоставлении по номеру строки получилось 73,55%. При сопоставлении по ID вопроса — 100%. Пересчёт результатов Belebele

Сопоставьте каждый ответ с нужным вопросом

Сохраняйте язык, ID вопроса и номер или букву выбранного варианта вместе с ответом. Во всех 122 файлах Belebele одни и те же 900 ID вопросов, но в 52 файлах они идут в другом порядке, чем в английском. При сопоставлении по строкам 9 838 ответов, отнесённых не к тем вопросам, всё же получили баллы, поскольку номера вариантов случайно совпали. Проверка порядка вопросов

Проверьте, совпадает ли текст двух вариантов

Представьте, что и B, и D содержат 12, а правильным в файле отмечен B. Ответ 12 даёт текст. Для оценки по позиции нужна буква. В 148 строках Belebele текст отмеченного ответа повторяется. Когда мы скопировали его дословно, выбор первого совпавшего варианта стоил 16 баллов, а последнего — 133. Решите, оценивает ли тест обозначение варианта или его текст, и проверьте варианты по тому же правилу. Повторяющиеся варианты

Сравните результаты на одних и тех же вопросах

Если убрать 148 строк с повторами только там, где они встречаются, в каждом языке останется от 894 до 899 вопросов. Чтобы сравнить одни и те же вопросы по всем языкам, исключите все 23 затронутых ID из каждого файла. Останется 877 общих вопросов. Укажите исходное число вопросов и сколько вы оценили. Сравнение фильтров вопросов

Проверьте, какие отрывки модель могла видеть раньше

Если вы настраивали модель на наборе для разработки FLORES-200, проверьте, встречаются ли те же отрывки в Belebele. В английском файле 513 вопросов ссылаются на страницы из этого набора. В 417 из них объединение предложений FLORES в точности воспроизводит отрывок Belebele. Число точных совпадений различается в остальных 116 общих файлах языков и письменностей. Проверьте текст на языке, который тестируете. Повторное использование английских отрывков · Повторное использование переведённых отрывков