# Можно ли сравнивать два результата бенчмарка?

Начните с решения, которое вы хотите обосновать с помощью результатов. Если нужно процитировать исторический результат, найдите именно ту таблицу, которая была опубликована. Выбирая между двумя агентами, проверьте, что они решали одни и те же задачи по одинаковым правилам, и сравните результаты этих задач. Четыре открытых примера показывают, зачем нужны эти проверки.

## Найдите таблицу, на которую ссылается цитата

LiveBench использовал одну и ту же метку таблицы лидеров, `2025-05-30`, для двух разных исходных таблиц. В двух закреплённых версиях совпадают 30 обозначений моделей. Для 28 из них хотя бы один из двух показателей в отдельной категории Coding в более поздней таблице выше. Разработчики сообщают, что повторили оценку Agentic Coding с изменённой тестовой системой и другим пределом числа шагов. Исходные таблицы не объясняют причину изменений в самой категории Coding. Сохраните номер ревизии таблицы или хеш файла вместе с цитируемым числом, а дату из метки бенчмарка запишите в отдельное поле. [Более ранняя таблица LiveBench](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Более поздняя таблица LiveBench](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Журнал изменений разработчиков](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Сопоставьте задачи перед сравнением долей успеха

Два примера ограничений ресурсов отбирают по 44 из 66 задач Terminal-Bench v4.1.0. Только 36 идентификаторов задач входят в обе выборки. Ограничения составляют 4 CPU, 8 192 МБ памяти и 10 240 МБ дискового пространства либо 2 CPU, 16 384 МБ памяти и 20 480 МБ дискового пространства. Фильтр проверяет каждый предел по заявленным ресурсам как среды задачи, так и среды проверки. Результаты ниже вымышлены. [Настройки ресурсов и фильтр Terminal-Bench](https://sapien1.com/ru/research/terminal-bench-resource-settings)

Предположим, агент A решил 32 задачи в первой выборке, а агент B — 34 во второй. В каждой выборке по восемь задач вне общего набора. Поэтому A мог решить от 24 до 32 из 36 общих задач, а B — от 26 до 34. Если A решил 32 общие задачи, а B — 26, то A опередил бы B на шесть задач в общем наборе. Если A решил 24, а B — 34, то B опередил бы A на десять. Оба сценария согласуются с указанными итогами.

| Вымышленный результат | Решено в собственной выборке из 44 задач | Возможное число решённых задач из 36 общих |
| --- | ---: | ---: |
| Агент A | 32 | 24–32 |
| Агент B | 34 | 26–34 |

В этом примере итоговые числа не определяют, кто лучше на общих задачах. Запросите результаты по каждой задаче или оцените обоих агентов на одном и том же проверенном списке. Если при запусках применялись разные бюджеты ресурсов, описывайте результат как сравнение этих конфигураций. Чтобы выделить эффект замены агента, не меняйте бюджет и остальные условия запуска. До ранжирования задайте общий знаменатель и решите, как учитывать отсутствующие, неудачные или неоценённые запуски. Укажите получившееся покрытие.

## Убедитесь, что оценивание использовало одни и те же входные данные

Февральский и августовский снимки тестов SWE-bench Verified за 2026 год содержат одни и те же 500 идентификаторов случаев. Два августовских коммита удалили одну запись об ожидаемом регрессионном тесте для случая Astropy и пять для случая Django. По ревизиям видно, что изменилось в сохранённых списках. Чтобы измерить влияние на оценки, проверьте одни и те же предложенные исправления на обеих ревизиях при неизменных остальных настройках. Для сравнения агентов используйте одну и ту же ревизию набора данных, средство оценки, среду выполнения и настройки оценивания. [Февральский снимок тестов](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Августовский снимок тестов](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Первое изменение SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Второе изменение SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Исходный код оценивания](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Проверьте файл с результатами по отдельным случаям

Every Eval Ever предоставляет сводные записи и индекс коллекции для поиска результатов по отдельным примерам. В одной закреплённой ревизии хранилища два источника указывают разные значения SHA-256 для связанных файлов с примерами во всех 14 записях индекса `MMLU-Pro` и во всех 11 записях индекса `gsm8k`. Для каждой коллекции хеш первого указанного файла после скачивания совпал с хешем из индекса. Контрольная сумма в сводной записи отличалась. Проверка выявляет расхождение на уровне файла. Она не устанавливает корректность оценок или причину расхождения. [Индекс MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Индекс GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Пример сводной записи GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Сохраните неизменяемый адрес файла и проверенный хеш вместе с парными результатами, которые используете. Если данные в источниках издателя противоречат друг другу, устраните расхождение, прежде чем использовать файл как подтверждение оценки.

## Документируйте сравнение

| Запись | Что сохранить |
| --- | --- |
| Опубликованный результат | Адрес источника, метка бенчмарка, ревизия или хеш таблицы, метрика и единица измерения |
| Случаи и попытки | Ревизия и часть набора данных, точные идентификаторы случаев и попыток, знаменатель расчёта и правила исключения |
| Условия выполнения | Ревизии агента и модели, инструменты, средство оценки и его конфигурация, бюджет, идентификатор среды и хеш образа, если он доступен |
| Доказательства | Выходные данные или результаты по отдельным случаям, неизменяемые адреса файлов и проверенные хеши |

Делайте выводы о производительности только в пределах того, что подтверждают записи. Для исторической цитаты укажите точный источник. При сравнении агентов приведите парные результаты по задачам и покрытие в заявленных условиях.
