Перейти к основному содержанию

Меню

Исследования

Как проверить, использует ли модель отрывок

Язык: Русский

Задайте модели одни и те же вопросы дважды, с отрывком и без него. Сохраните вопросы, варианты ответа и правила оценки. Сравните результаты, чтобы понять, насколько помог отрывок. Для теста с выбором ответа проведите ещё одну проверку только с вариантами. Правило всегда выбирать самый короткий ответ дало 27,03% на полном тесте Belebele. При случайном выборе с равными вероятностями ожидается 25%. Проверка длины ответов в Belebele

Меняйте только один элемент за раз

Что получает модельЧто сравнивать
Отрывок, вопрос и вариантыКак часто она отвечает правильно со всеми данными
Вопрос и вариантыКак часто она отвечает правильно без отрывка
Только вариантыКак часто она отвечает правильно по одним вариантам

Используйте одну и ту же модель и настройки. Посчитайте, сколько неверных ответов становятся верными после добавления отрывка, и сколько меняются наоборот. Эти числа объясняют небольшую разницу в результате, когда прогоны успешно отвечают на разные вопросы. Для письменных ответов сравните первые два прогона без вариантов и используйте одинаковый список допустимых ответов.

Посмотрите, на каких вопросах изменился результат

Допустим, модель верно отвечает на 70 из 100 вопросов в обоих прогонах. После сопоставления по ID видно, что 62 ответа верны в обоих, а 22 неверны в обоих. Отрывок превращает восемь неверных ответов в верные и восемь верных в неверные. Результат остаётся 70%, но можно изучить 16 вопросов и увидеть, где отрывок помог или помешал.

Попробуйте простое правило совпадения слов

Авторы Belebele искали подсказки в общих словах и длине ответов. Они также сообщили о результате 28% на 900 вопросах для модели, которая учитывала наличие слов без учёта их порядка. Статья о Belebele, раздел 3.2 · Приложение A.6

Мы применили одно правило к тем же 900 вопросам Belebele на английском и вьетнамском. Использовали прогон без отрывка, с нужным отрывком или с отрывком с другой страницы. Для каждого варианта считаем долю его уникальных слов, которые встречаются в вопросе или данном отрывке. Без отрывка используем только вопрос. Правило выбирает вариант с наибольшей долей. При равенстве на первом месте делим один балл поровну и засчитываем только долю отмеченного правильного ответа. Для каждого вопроса английский и вьетнамский отрывки на замену взяты с одной и той же другой страницы, каждый на своём языке. Код · Результаты

ЯзыкБез отрывкаОтрывок с другой страницыНужный отрывок
Английский24.60%26.38%28.72%
Вьетнамский25.98%24.80%27.17%

В первом сравнении нужный отрывок дал лучший результат на обоих языках. Затем мы испытали ещё 15 способов поменять отрывки. За все 16 замен оценки составили от 24,60% до 27,89% на английском и от 23,58% до 27,84% на вьетнамском. Нужный отрывок превзошёл все 16 замен на английском и 15 на вьетнамском. Попробуйте несколько замен, чтобы вывод меньше зависел от выбранной страницы. Результаты всех замен

По сравнению с прогоном без отрывка нужный отрывок повысил оценку на 311 вопросах на английском и 313 на вьетнамском. Он снизил её на 218 английских и 234 вьетнамских вопросах. Если сравниваете правило с моделью, оценивайте их на одних вопросах.

Сохраняйте вопросы и правила оценки

Сохраняйте ID вопроса вместе с ответом. В 122 файлах Belebele 900 общих ID, но в 52 файлах порядок отличается от английского. Если убираете вопросы с повторяющимся текстом вариантов, исключайте те же ID из всех сравниваемых прогонов. Сохраняйте букву варианта, чтобы при оценке можно было различить два одинаковых текста. Проверка порядка вопросов · Фильтр вопросов

Проверьте, что модель могла видеть раньше

Верный ответ без отрывка может опираться на прежние знания, подсказки в вопросе или вариантах либо случайную догадку. Если вы использовали набор для разработки FLORES-200 для настройки модели и теперь хотите проверить её на Belebele, можете исключить вопросы с этих URL. Проверьте и сам текст. В исходных файлах девять вопросов с других URL всё ещё содержали предложение из набора для разработки хотя бы на одном проверенном языке или в одной письменности. Проверка отрывков Belebele

Сохраняйте отрывок при смене языка вопроса

Чтобы понять влияние смены языка вопроса, проведите это сравнение отдельно. В проверенных английских и вьетнамских файлах MLQA 511 ID позволяют сменить язык вопроса, полностью сохранив английский отрывок и допустимые ответы. Оцените оба прогона по одним и тем же английским ответам. Сопоставленные вопросы MLQA