Исследования
Можно ли сравнивать два результата бенчмарка?
Начните с решения, которое вы хотите обосновать с помощью результатов. Если нужно процитировать исторический результат, найдите именно ту таблицу, которая была опубликована. Выбирая между двумя агентами, проверьте, что они решали одни и те же задачи по одинаковым правилам, и сравните результаты этих задач. Четыре открытых примера показывают, зачем нужны эти проверки.
Найдите таблицу, на которую ссылается цитата
LiveBench использовал одну и ту же метку таблицы лидеров, 2025-05-30, для двух разных исходных таблиц. В двух закреплённых версиях совпадают 30 обозначений моделей. Для 28 из них хотя бы один из двух показателей в отдельной категории Coding в более поздней таблице выше. Разработчики сообщают, что повторили оценку Agentic Coding с изменённой тестовой системой и другим пределом числа шагов. Исходные таблицы не объясняют причину изменений в самой категории Coding. Сохраните номер ревизии таблицы или хеш файла вместе с цитируемым числом, а дату из метки бенчмарка запишите в отдельное поле. Более ранняя таблица LiveBench · Более поздняя таблица LiveBench · Журнал изменений разработчиков
Сопоставьте задачи перед сравнением долей успеха
Два примера ограничений ресурсов отбирают по 44 из 66 задач Terminal-Bench v4.1.0. Только 36 идентификаторов задач входят в обе выборки. Ограничения составляют 4 CPU, 8 192 МБ памяти и 10 240 МБ дискового пространства либо 2 CPU, 16 384 МБ памяти и 20 480 МБ дискового пространства. Фильтр проверяет каждый предел по заявленным ресурсам как среды задачи, так и среды проверки. Результаты ниже вымышлены. Настройки ресурсов и фильтр Terminal-Bench
Предположим, агент A решил 32 задачи в первой выборке, а агент B — 34 во второй. В каждой выборке по восемь задач вне общего набора. Поэтому A мог решить от 24 до 32 из 36 общих задач, а B — от 26 до 34. Если A решил 32 общие задачи, а B — 26, то A опередил бы B на шесть задач в общем наборе. Если A решил 24, а B — 34, то B опередил бы A на десять. Оба сценария согласуются с указанными итогами.
| Вымышленный результат | Решено в собственной выборке из 44 задач | Возможное число решённых задач из 36 общих |
|---|---|---|
| Агент A | 32 | 24–32 |
| Агент B | 34 | 26–34 |
В этом примере итоговые числа не определяют, кто лучше на общих задачах. Запросите результаты по каждой задаче или оцените обоих агентов на одном и том же проверенном списке. Если при запусках применялись разные бюджеты ресурсов, описывайте результат как сравнение этих конфигураций. Чтобы выделить эффект замены агента, не меняйте бюджет и остальные условия запуска. До ранжирования задайте общий знаменатель и решите, как учитывать отсутствующие, неудачные или неоценённые запуски. Укажите получившееся покрытие.
Убедитесь, что оценивание использовало одни и те же входные данные
Февральский и августовский снимки тестов SWE-bench Verified за 2026 год содержат одни и те же 500 идентификаторов случаев. Два августовских коммита удалили одну запись об ожидаемом регрессионном тесте для случая Astropy и пять для случая Django. По ревизиям видно, что изменилось в сохранённых списках. Чтобы измерить влияние на оценки, проверьте одни и те же предложенные исправления на обеих ревизиях при неизменных остальных настройках. Для сравнения агентов используйте одну и ту же ревизию набора данных, средство оценки, среду выполнения и настройки оценивания. Февральский снимок тестов · Августовский снимок тестов · Первое изменение SWE-bench · Второе изменение SWE-bench · Исходный код оценивания
Проверьте файл с результатами по отдельным случаям
Every Eval Ever предоставляет сводные записи и индекс коллекции для поиска результатов по отдельным примерам. В одной закреплённой ревизии хранилища два источника указывают разные значения SHA-256 для связанных файлов с примерами во всех 14 записях индекса MMLU-Pro и во всех 11 записях индекса gsm8k. Для каждой коллекции хеш первого указанного файла после скачивания совпал с хешем из индекса. Контрольная сумма в сводной записи отличалась. Проверка выявляет расхождение на уровне файла. Она не устанавливает корректность оценок или причину расхождения. Индекс MMLU-Pro · Индекс GSM8K · Пример сводной записи GSM8K
Сохраните неизменяемый адрес файла и проверенный хеш вместе с парными результатами, которые используете. Если данные в источниках издателя противоречат друг другу, устраните расхождение, прежде чем использовать файл как подтверждение оценки.
Документируйте сравнение
| Запись | Что сохранить |
|---|---|
| Опубликованный результат | Адрес источника, метка бенчмарка, ревизия или хеш таблицы, метрика и единица измерения |
| Случаи и попытки | Ревизия и часть набора данных, точные идентификаторы случаев и попыток, знаменатель расчёта и правила исключения |
| Условия выполнения | Ревизии агента и модели, инструменты, средство оценки и его конфигурация, бюджет, идентификатор среды и хеш образа, если он доступен |
| Доказательства | Выходные данные или результаты по отдельным случаям, неизменяемые адреса файлов и проверенные хеши |
Делайте выводы о производительности только в пределах того, что подтверждают записи. Для исторической цитаты укажите точный источник. При сравнении агентов приведите парные результаты по задачам и покрытие в заявленных условиях.