Przejdź do treści głównej

Menu

Badania

Czy można porównać dwa wyniki benchmarku?

Język: Polski

Zacznij od decyzji, którą wyniki mają pomóc podjąć. Cytując wynik historyczny, ustal dokładnie, z której opublikowanej tabeli pochodzi. Wybierając między dwoma agentami, sprawdź, czy mierzyli się z tymi samymi przypadkami na tych samych zasadach, i porównaj wyniki uzyskane w tych przypadkach. Cztery publiczne przykłady pokazują, dlaczego te kontrole są ważne.

Znajdź tabelę, do której odsyła cytat

LiveBench stosował tę samą etykietę rankingu, 2025-05-30, dla dwóch różnych tabel źródłowych. Obie tabele odwołują się do konkretnych rewizji i mają 30 wspólnych etykiet modeli. W przypadku 28 z nich co najmniej jeden z dwóch wyników w odrębnej kategorii Coding jest wyższy w późniejszej tabeli. Opiekunowie projektu opisują ponowne wykonanie Agentic Coding po zmianie środowiska testowego i limitu kroków. Tabele źródłowe nie wyjaśniają odrębnych zmian w kategorii Coding. Zapisz rewizję tabeli lub skrót pliku obok cytowanej liczby, a datę z etykiety benchmarku zachowaj w osobnym polu. Wcześniejsza tabela LiveBench · Późniejsza tabela LiveBench · Dziennik zmian opiekunów

Dopasuj przypadki przed porównaniem odsetka sukcesów

Dwa przykładowe limity zasobów wybierają po 44 z 66 zadań Terminal-Bench v4.1.0. Tylko 36 identyfikatorów zadań występuje w obu zbiorach. Limity wynoszą 4 jednostki CPU, 8192 MB pamięci i 10 240 MB miejsca albo 2 jednostki CPU, 16 384 MB pamięci i 20 480 MB miejsca. Filtr stosuje każdy limit do deklaracji środowiska zadania i środowiska weryfikatora. Poniższe wyniki są fikcyjne. Ustawienia zasobów i filtr Terminal-Bench

Załóżmy, że agent A rozwiązuje 32 przypadki z pierwszego zbioru, a agent B rozwiązuje 34 z drugiego. Każdy zbiór ma osiem przypadków spoza części wspólnej. A mógł zatem rozwiązać od 24 do 32 z 36 wspólnych przypadków, a B od 26 do 34. Gdyby A rozwiązał 32 wspólne przypadki, a B rozwiązał 26, A prowadziłby w części wspólnej o sześć. Gdyby A rozwiązał 24, a B rozwiązał 34, B prowadziłby o dziesięć. Oba scenariusze są zgodne z podanymi sumami.

Fikcyjny wynikRozwiązane we własnym zbiorze 44 przypadkówMożliwe rozwiązane przypadki wśród 36 wspólnych
Agent A3224–32
Agent B3426–34

W tym przykładzie sumy nie rozstrzygają kolejności we wspólnych przypadkach. Poproś o wyniki poszczególnych przypadków lub oceń obu agentów na tej samej zweryfikowanej liście. Jeśli przebiegi korzystały z różnych budżetów zasobów, opisz wynik jako porównanie tych konfiguracji. Aby wyodrębnić wpływ zmiany agenta, utrzymaj budżet i pozostałe warunki wykonania bez zmian. Ustal wspólny mianownik i zdecyduj, jak liczyć brakujące, nieudane lub nieocenione przebiegi przed ustaleniem rankingu. Podaj uzyskane pokrycie przypadków.

Sprawdź, czy ocena używała tych samych danych wejściowych

Migawki testów SWE-bench Verified z lutego i sierpnia 2026 roku zawierają te same 500 identyfikatorów przypadków. Dwa sierpniowe commity usunęły jeden wpis oczekiwanego testu regresji w przypadku Astropy oraz pięć w przypadku Django. Rewizje pokazują, co zmieniło się na zapisanych listach. Aby zmierzyć wpływ na wyniki, oceń te same proponowane poprawki w obu rewizjach przy pozostałych ustawieniach bez zmian. Do porównania agentów użyj tej samej rewizji zbioru danych, tego samego mechanizmu oceny, środowiska wykonania i opcji ewaluacji. Migawka testów z lutego · Migawka testów z sierpnia · Pierwsza zmiana SWE-bench · Druga zmiana SWE-bench · Kod mechanizmu oceny

Zweryfikuj plik z wynikami poszczególnych przypadków

Every Eval Ever udostępnia rekordy zbiorcze i indeks kolekcji, ułatwiający znalezienie wyników poszczególnych próbek. W jednej konkretnej rewizji magazynu danych oba źródła deklarują różne wartości SHA-256 dla powiązanych plików próbek we wszystkich 14 pozycjach indeksu MMLU-Pro i wszystkich 11 pozycjach indeksu gsm8k. W każdej z kolekcji pierwszy plik z listy po pobraniu miał skrót zgodny z indeksem. Suma kontrolna w rekordzie zbiorczym była inna. Ta kontrola wykazuje rozbieżność na poziomie pliku. Nie rozstrzyga poprawności wyników ani przyczyny rozbieżności. Indeks MMLU-Pro · Indeks GSM8K · Przykładowy rekord zbiorczy GSM8K

Zachowaj niezmienną lokalizację pliku i zweryfikowany skrót przy wynikach, które porównujesz parami. Gdy deklaracje wydawcy są sprzeczne, wyjaśnij rozbieżność, zanim posłużysz się plikiem jako dowodem wyniku.

Udokumentuj porównanie

PozycjaCo zapisać
Opublikowany wynikAdres źródłowy, etykieta benchmarku, rewizja lub skrót tabeli, miara i jednostka
Przypadki i powtórzeniaRewizja i część zbioru danych, dokładne identyfikatory przypadków i powtórzeń, mianownik wyniku oraz zasady wykluczania
Warunki wykonaniaRewizje agenta i modelu, narzędzia, mechanizm oceny i konfiguracja, budżet, identyfikator środowiska i skrót obrazu, jeśli jest dostępny
DowodyDane wyjściowe lub wyniki poszczególnych przypadków, niezmienne lokalizacje plików i zweryfikowane skróty

Wnioskuj o wydajności tylko w zakresie, który potwierdzają dokumenty. Przy cytowaniu historycznym wskaż dokładne źródło. W porównaniu agentów podaj sparowane wyniki przypadków i pokrycie w opisanych warunkach.