Badania
Czy można porównać dwa wyniki benchmarku?
Zacznij od decyzji, którą wyniki mają pomóc podjąć. Cytując wynik historyczny, ustal dokładnie, z której opublikowanej tabeli pochodzi. Wybierając między dwoma agentami, sprawdź, czy mierzyli się z tymi samymi przypadkami na tych samych zasadach, i porównaj wyniki uzyskane w tych przypadkach. Cztery publiczne przykłady pokazują, dlaczego te kontrole są ważne.
Znajdź tabelę, do której odsyła cytat
LiveBench stosował tę samą etykietę rankingu, 2025-05-30, dla dwóch różnych tabel źródłowych. Obie tabele odwołują się do konkretnych rewizji i mają 30 wspólnych etykiet modeli. W przypadku 28 z nich co najmniej jeden z dwóch wyników w odrębnej kategorii Coding jest wyższy w późniejszej tabeli. Opiekunowie projektu opisują ponowne wykonanie Agentic Coding po zmianie środowiska testowego i limitu kroków. Tabele źródłowe nie wyjaśniają odrębnych zmian w kategorii Coding. Zapisz rewizję tabeli lub skrót pliku obok cytowanej liczby, a datę z etykiety benchmarku zachowaj w osobnym polu. Wcześniejsza tabela LiveBench · Późniejsza tabela LiveBench · Dziennik zmian opiekunów
Dopasuj przypadki przed porównaniem odsetka sukcesów
Dwa przykładowe limity zasobów wybierają po 44 z 66 zadań Terminal-Bench v4.1.0. Tylko 36 identyfikatorów zadań występuje w obu zbiorach. Limity wynoszą 4 jednostki CPU, 8192 MB pamięci i 10 240 MB miejsca albo 2 jednostki CPU, 16 384 MB pamięci i 20 480 MB miejsca. Filtr stosuje każdy limit do deklaracji środowiska zadania i środowiska weryfikatora. Poniższe wyniki są fikcyjne. Ustawienia zasobów i filtr Terminal-Bench
Załóżmy, że agent A rozwiązuje 32 przypadki z pierwszego zbioru, a agent B rozwiązuje 34 z drugiego. Każdy zbiór ma osiem przypadków spoza części wspólnej. A mógł zatem rozwiązać od 24 do 32 z 36 wspólnych przypadków, a B od 26 do 34. Gdyby A rozwiązał 32 wspólne przypadki, a B rozwiązał 26, A prowadziłby w części wspólnej o sześć. Gdyby A rozwiązał 24, a B rozwiązał 34, B prowadziłby o dziesięć. Oba scenariusze są zgodne z podanymi sumami.
| Fikcyjny wynik | Rozwiązane we własnym zbiorze 44 przypadków | Możliwe rozwiązane przypadki wśród 36 wspólnych |
|---|---|---|
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |
W tym przykładzie sumy nie rozstrzygają kolejności we wspólnych przypadkach. Poproś o wyniki poszczególnych przypadków lub oceń obu agentów na tej samej zweryfikowanej liście. Jeśli przebiegi korzystały z różnych budżetów zasobów, opisz wynik jako porównanie tych konfiguracji. Aby wyodrębnić wpływ zmiany agenta, utrzymaj budżet i pozostałe warunki wykonania bez zmian. Ustal wspólny mianownik i zdecyduj, jak liczyć brakujące, nieudane lub nieocenione przebiegi przed ustaleniem rankingu. Podaj uzyskane pokrycie przypadków.
Sprawdź, czy ocena używała tych samych danych wejściowych
Migawki testów SWE-bench Verified z lutego i sierpnia 2026 roku zawierają te same 500 identyfikatorów przypadków. Dwa sierpniowe commity usunęły jeden wpis oczekiwanego testu regresji w przypadku Astropy oraz pięć w przypadku Django. Rewizje pokazują, co zmieniło się na zapisanych listach. Aby zmierzyć wpływ na wyniki, oceń te same proponowane poprawki w obu rewizjach przy pozostałych ustawieniach bez zmian. Do porównania agentów użyj tej samej rewizji zbioru danych, tego samego mechanizmu oceny, środowiska wykonania i opcji ewaluacji. Migawka testów z lutego · Migawka testów z sierpnia · Pierwsza zmiana SWE-bench · Druga zmiana SWE-bench · Kod mechanizmu oceny
Zweryfikuj plik z wynikami poszczególnych przypadków
Every Eval Ever udostępnia rekordy zbiorcze i indeks kolekcji, ułatwiający znalezienie wyników poszczególnych próbek. W jednej konkretnej rewizji magazynu danych oba źródła deklarują różne wartości SHA-256 dla powiązanych plików próbek we wszystkich 14 pozycjach indeksu MMLU-Pro i wszystkich 11 pozycjach indeksu gsm8k. W każdej z kolekcji pierwszy plik z listy po pobraniu miał skrót zgodny z indeksem. Suma kontrolna w rekordzie zbiorczym była inna. Ta kontrola wykazuje rozbieżność na poziomie pliku. Nie rozstrzyga poprawności wyników ani przyczyny rozbieżności. Indeks MMLU-Pro · Indeks GSM8K · Przykładowy rekord zbiorczy GSM8K
Zachowaj niezmienną lokalizację pliku i zweryfikowany skrót przy wynikach, które porównujesz parami. Gdy deklaracje wydawcy są sprzeczne, wyjaśnij rozbieżność, zanim posłużysz się plikiem jako dowodem wyniku.
Udokumentuj porównanie
| Pozycja | Co zapisać |
|---|---|
| Opublikowany wynik | Adres źródłowy, etykieta benchmarku, rewizja lub skrót tabeli, miara i jednostka |
| Przypadki i powtórzenia | Rewizja i część zbioru danych, dokładne identyfikatory przypadków i powtórzeń, mianownik wyniku oraz zasady wykluczania |
| Warunki wykonania | Rewizje agenta i modelu, narzędzia, mechanizm oceny i konfiguracja, budżet, identyfikator środowiska i skrót obrazu, jeśli jest dostępny |
| Dowody | Dane wyjściowe lub wyniki poszczególnych przypadków, niezmienne lokalizacje plików i zweryfikowane skróty |
Wnioskuj o wydajności tylko w zakresie, który potwierdzają dokumenty. Przy cytowaniu historycznym wskaż dokładne źródło. W porównaniu agentów podaj sparowane wyniki przypadków i pokrycie w opisanych warunkach.