# Czy można porównać dwa wyniki benchmarku?

Zacznij od decyzji, którą wyniki mają pomóc podjąć. Cytując wynik historyczny, ustal dokładnie, z której opublikowanej tabeli pochodzi. Wybierając między dwoma agentami, sprawdź, czy mierzyli się z tymi samymi przypadkami na tych samych zasadach, i porównaj wyniki uzyskane w tych przypadkach. Cztery publiczne przykłady pokazują, dlaczego te kontrole są ważne.

## Znajdź tabelę, do której odsyła cytat

LiveBench stosował tę samą etykietę rankingu, `2025-05-30`, dla dwóch różnych tabel źródłowych. Obie tabele odwołują się do konkretnych rewizji i mają 30 wspólnych etykiet modeli. W przypadku 28 z nich co najmniej jeden z dwóch wyników w odrębnej kategorii Coding jest wyższy w późniejszej tabeli. Opiekunowie projektu opisują ponowne wykonanie Agentic Coding po zmianie środowiska testowego i limitu kroków. Tabele źródłowe nie wyjaśniają odrębnych zmian w kategorii Coding. Zapisz rewizję tabeli lub skrót pliku obok cytowanej liczby, a datę z etykiety benchmarku zachowaj w osobnym polu. [Wcześniejsza tabela LiveBench](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Późniejsza tabela LiveBench](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Dziennik zmian opiekunów](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Dopasuj przypadki przed porównaniem odsetka sukcesów

Dwa przykładowe limity zasobów wybierają po 44 z 66 zadań Terminal-Bench v4.1.0. Tylko 36 identyfikatorów zadań występuje w obu zbiorach. Limity wynoszą 4 jednostki CPU, 8192 MB pamięci i 10 240 MB miejsca albo 2 jednostki CPU, 16 384 MB pamięci i 20 480 MB miejsca. Filtr stosuje każdy limit do deklaracji środowiska zadania i środowiska weryfikatora. Poniższe wyniki są fikcyjne. [Ustawienia zasobów i filtr Terminal-Bench](https://sapien1.com/pl/research/terminal-bench-resource-settings)

Załóżmy, że agent A rozwiązuje 32 przypadki z pierwszego zbioru, a agent B rozwiązuje 34 z drugiego. Każdy zbiór ma osiem przypadków spoza części wspólnej. A mógł zatem rozwiązać od 24 do 32 z 36 wspólnych przypadków, a B od 26 do 34. Gdyby A rozwiązał 32 wspólne przypadki, a B rozwiązał 26, A prowadziłby w części wspólnej o sześć. Gdyby A rozwiązał 24, a B rozwiązał 34, B prowadziłby o dziesięć. Oba scenariusze są zgodne z podanymi sumami.

| Fikcyjny wynik | Rozwiązane we własnym zbiorze 44 przypadków | Możliwe rozwiązane przypadki wśród 36 wspólnych |
| --- | ---: | ---: |
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |

W tym przykładzie sumy nie rozstrzygają kolejności we wspólnych przypadkach. Poproś o wyniki poszczególnych przypadków lub oceń obu agentów na tej samej zweryfikowanej liście. Jeśli przebiegi korzystały z różnych budżetów zasobów, opisz wynik jako porównanie tych konfiguracji. Aby wyodrębnić wpływ zmiany agenta, utrzymaj budżet i pozostałe warunki wykonania bez zmian. Ustal wspólny mianownik i zdecyduj, jak liczyć brakujące, nieudane lub nieocenione przebiegi przed ustaleniem rankingu. Podaj uzyskane pokrycie przypadków.

## Sprawdź, czy ocena używała tych samych danych wejściowych

Migawki testów SWE-bench Verified z lutego i sierpnia 2026 roku zawierają te same 500 identyfikatorów przypadków. Dwa sierpniowe commity usunęły jeden wpis oczekiwanego testu regresji w przypadku Astropy oraz pięć w przypadku Django. Rewizje pokazują, co zmieniło się na zapisanych listach. Aby zmierzyć wpływ na wyniki, oceń te same proponowane poprawki w obu rewizjach przy pozostałych ustawieniach bez zmian. Do porównania agentów użyj tej samej rewizji zbioru danych, tego samego mechanizmu oceny, środowiska wykonania i opcji ewaluacji. [Migawka testów z lutego](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Migawka testów z sierpnia](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Pierwsza zmiana SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Druga zmiana SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Kod mechanizmu oceny](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Zweryfikuj plik z wynikami poszczególnych przypadków

Every Eval Ever udostępnia rekordy zbiorcze i indeks kolekcji, ułatwiający znalezienie wyników poszczególnych próbek. W jednej konkretnej rewizji magazynu danych oba źródła deklarują różne wartości SHA-256 dla powiązanych plików próbek we wszystkich 14 pozycjach indeksu `MMLU-Pro` i wszystkich 11 pozycjach indeksu `gsm8k`. W każdej z kolekcji pierwszy plik z listy po pobraniu miał skrót zgodny z indeksem. Suma kontrolna w rekordzie zbiorczym była inna. Ta kontrola wykazuje rozbieżność na poziomie pliku. Nie rozstrzyga poprawności wyników ani przyczyny rozbieżności. [Indeks MMLU-Pro](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [Indeks GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Przykładowy rekord zbiorczy GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Zachowaj niezmienną lokalizację pliku i zweryfikowany skrót przy wynikach, które porównujesz parami. Gdy deklaracje wydawcy są sprzeczne, wyjaśnij rozbieżność, zanim posłużysz się plikiem jako dowodem wyniku.

## Udokumentuj porównanie

| Pozycja | Co zapisać |
| --- | --- |
| Opublikowany wynik | Adres źródłowy, etykieta benchmarku, rewizja lub skrót tabeli, miara i jednostka |
| Przypadki i powtórzenia | Rewizja i część zbioru danych, dokładne identyfikatory przypadków i powtórzeń, mianownik wyniku oraz zasady wykluczania |
| Warunki wykonania | Rewizje agenta i modelu, narzędzia, mechanizm oceny i konfiguracja, budżet, identyfikator środowiska i skrót obrazu, jeśli jest dostępny |
| Dowody | Dane wyjściowe lub wyniki poszczególnych przypadków, niezmienne lokalizacje plików i zweryfikowane skróty |

Wnioskuj o wydajności tylko w zakresie, który potwierdzają dokumenty. Przy cytowaniu historycznym wskaż dokładne źródło. W porównaniu agentów podaj sparowane wyniki przypadków i pokrycie w opisanych warunkach.
