Исследования
Оценка zero-shot может измениться при смене индексов меток NLI
Два вымышленных набора из трёх логитов дают противоположные ранжирования в многометочном режиме при расположении согласно двум реальным конфигурациям моделей. При одном кандидате оценка также меняется. При двух взаимоисключающих кандидатах оба порядка дают одинаковое ранжирование. В этом сравнении проверяется расчёт оценок zero-shot в Transformers 4.55.0 и 5.23.0 с использованием общедоступных метаданных конфигураций и без запуска моделей.
Ожидаемая и используемая пары
Конвейер zero-shot-классификации строит посылку и гипотезу для каждой метки-кандидата. В документации по расчёту оценок в многометочном режиме описано применение softmax к логитам следования и противоречия для каждого кандидата. В обоих проверенных выпусках механизм расчёта находит следование в label2id. Если следование находится под индексом 0, он использует в качестве второго входа последний логит, в остальных случаях — логит с индексом 0. Та же ветвь выполняется, когда кандидат только один. Документация по расчёту оценок · Расчёт оценок в 4.55.0 · Расчёт оценок в 5.23.0
| Опубликованная конфигурация | Индекс 0 | Индекс 1 | Индекс 2 | Логит в паре со следованием |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | Следование | Противоречие | Нейтральность | Нейтральность |
| facebook/bart-large-mnli | Противоречие | Нейтральность | Следование | Противоречие |
В обеих конфигурациях прямое и обратное соответствия меток согласуются. Они задают заявленное соответствие. Эксперимент не измеряет, чему научились соответствующие модели и как часто их реальные логиты приводили бы к изменению ранжирования. Конфигурация ModernBERT · Конфигурация BART
Ранжирование меняется в контролируемом тестовом наборе
Одни и те же логиты с точки зрения их смысловых классов были переставлены согласно каждой конфигурации. Для метки A логит следования равен 2, противоречия — 0, нейтральности — 4. Для метки B логит следования равен 1, противоречия — 2, нейтральности — −1. В эталонном расчёте используются два класса, названные в документации. Результаты совпадают в обоих выпусках.
| Способ расчёта | Метка A | Метка B | Оценка выше |
|---|---|---|---|
| Следование и заявленное противоречие | 0.880797 | 0.268941 | A |
| Многометочный режим с соответствием ModernBERT | 0.119203 | 0.880797 | B |
| Многометочный режим с соответствием BART | 0.880797 | 0.268941 | A |
| Два взаимоисключающих кандидата, любое соответствие | 0.731059 | 0.268941 | A |
При одной метке A и значении по умолчанию multi_label=False та же ветвь даёт 0,119203 для соответствия ModernBERT и 0,880797 для BART. Среди всех шести перестановок трёх разных меток ветвь для многометочного режима в трёх случаях даёт оценки, соответствующие заявленной позиции противоречия, а в остальных трёх — позиции нейтральности. Это шесть возможных вариантов расположения в тестовом наборе. Это число не позволяет оценить долю затронутых опубликованных моделей. Полный вывод
Для оценки zero-shot сохраняйте ревизию контрольной точки, соответствие классов, версию библиотеки для расчёта оценок, число кандидатов и настройку многометочного режима. Прежде чем сравнивать независимые оценки разных контрольных точек, проверьте, какие логиты фактически используются при расчёте. Соответствие меток должно описывать порядок выходов существующей выходной головы модели. Изменение одной лишь конфигурации не меняет порядок её выходных координат.
Воспроизвести проверку
Запустите python3 check.py | cmp - observations.json, включив проверку ошибок в конвейере команд и обеспечив доступность NumPy. Программа проверки сверяет содержимое двух файлов исходного кода конвейера и двух файлов конфигурации моделей общим объёмом 27 139 байт. Она выполняет только зафиксированные методы определения индекса следования и постобработки оценок в небольшом классе без зависимостей их пакетов. Она передаёт массивы float32 через интерфейс, ожидаемый для тензорных входов механизма расчёта. В независимом эталонном расчёте используется логистическая форма softmax для двух классов. Пакет проверяет сведение оценок и сортировку. Он не запускает токенизатор, модель, набор данных, полную инициализацию библиотеки или бенчмарк.
Репозиторий Transformers распространяется по лицензии Apache 2.0. В карточках двух моделей были указаны лицензии Apache 2.0 и MIT соответственно. В этом пакете используются общедоступные сведения о соответствии меток и идентификаторы. Программа проверки загружает исходные файлы во время выполнения и не содержит исходный код вышестоящих проектов, веса моделей, текст карточек или примеры. Программа проверки · Лицензия Transformers