Výzkum
Dají se porovnat dvě skóre z benchmarků?
Začněte rozhodnutím, ke kterému mají skóre sloužit. Pokud citujete historický výsledek, najděte přesnou publikovanou tabulku. Při výběru mezi dvěma agenty ověřte, že řešili stejné případy za stejných pravidel, a porovnávejte na základě výsledků těchto případů. Čtyři veřejné příklady ukazují, proč se tyto kontroly vyplatí.
Najděte tabulku, na kterou odkazuje citace
LiveBench použil stejné označení žebříčku, 2025-05-30, pro dvě různé zdrojové tabulky. Obě tabulky jsou vázané na konkrétní revize a mají 30 společných označení modelů. U 28 z nich je alespoň jedno ze dvou skóre v samostatné kategorii Coding v novější tabulce vyšší. Správci popisují nové spuštění Agentic Coding se změnou testovacího rámce a limitu kroků. Ze zdrojových tabulek nelze určit příčinu odlišných změn v kategorii Coding. S citovaným číslem uložte revizi tabulky nebo hash souboru a datum uvedené v označení benchmarku ukládejte zvlášť. Dřívější tabulka LiveBench · Pozdější tabulka LiveBench · Přehled změn od správců
Před porovnáním úspěšnosti spárujte stejné případy
Dva ukázkové limity zdrojů vybírají každý 44 z 66 úloh Terminal-Bench v4.1.0. V obou výběrech se objevuje pouze 36 identifikátorů úloh. Limity jsou 4 CPU, 8 192 MB paměti a 10 240 MB úložiště nebo 2 CPU, 16 384 MB paměti a 20 480 MB úložiště. Filtr používá každý limit na hodnoty deklarované pro prostředí úlohy i pro prostředí ověřovatele. Následující výsledky jsou smyšlené. Nastavení a filtr prostředků Terminal-Bench
Představme si, že agent A vyřeší 32 případů v prvním výběru a agent B vyřeší 34 ve druhém. Každý výběr obsahuje osm případů mimo společnou množinu. A tedy mohl vyřešit 24 až 32 z 36 společných případů a B 26 až 34. Kdyby A vyřešil 32 společných případů a B vyřešil 26, A by ve společné množině vedl o šest. Kdyby A vyřešil 24 a B vyřešil 34, B by vedl o deset. Oba scénáře odpovídají uvedeným součtům.
| Smyšlený výsledek | Vyřešené případy ve vlastním výběru 44 případů | Možný počet vyřešených z 36 společných případů |
|---|---|---|
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |
V tomto příkladu součty neumožňují určit pořadí u společných případů. Vyžádejte si výsledky po jednotlivých případech nebo ohodnoťte oba agenty na stejném ověřeném seznamu. Pokud běhy používaly odlišné rozpočty zdrojů, popište výsledek jako srovnání těchto konfigurací. Abyste oddělili vliv výměny agenta, ponechte rozpočet i ostatní podmínky běhu stejné. Před sestavením pořadí určete společný jmenovatel a rozhodněte, jak započítat chybějící, neúspěšné nebo neohodnocené běhy. Uveďte výsledné pokrytí.
Ověřte, že hodnocení použilo stejné vstupy
Únorová a srpnová verze testů SWE-bench Verified z roku 2026 obsahují stejných 500 identifikátorů případů. Dva srpnové commity odstranily jednu položku očekávaného regresního testu pro případ Astropy a pět pro případ Django. Revize ukazují, co se v uložených seznamech změnilo. Chcete-li změřit dopad na skóre, vyhodnoťte stejné navržené opravy v obou revizích a ostatní nastavení neměňte. Při porovnávání agentů použijte stejnou revizi datové sady, hodnoticí nástroj, prostředí i možnosti hodnocení pro oba. Únorová verze testů · Srpnová verze testů · První změna SWE-bench · Druhá změna SWE-bench · Zdrojový kód hodnoticího nástroje
Před použitím ověřte soubor s výsledky jednotlivých případů
Every Eval Ever poskytuje souhrnné záznamy a index každé kolekce, podle kterého lze najít výsledky jednotlivých vzorků. V jedné pevně určené revizi úložiště tyto dva zdroje uvádějí odlišné hodnoty SHA-256 souvisejících souborů vzorků u všech 14 záznamů v indexu MMLU-Pro a u všech 11 v indexu gsm8k. V každé kolekci měl první uvedený soubor po stažení stejný hash jako v indexu. Kontrolní součet uvedený v souhrnném záznamu se lišil. Kontrola odhaluje rozpor na úrovni souboru. Neposuzuje správnost skóre ani příčinu rozporu. Index MMLU-Pro · Index GSM8K · Příklad souhrnného záznamu GSM8K
U párovaných výsledků, které používáte, uchovejte neměnné umístění souboru a ověřený hash. Pokud si údaje vydavatele odporují, vyřešte rozpor, než soubor použijete jako důkaz skóre.
Zdokumentujte porovnání
| Položka | Co uložit |
|---|---|
| Publikovaný výsledek | Adresa zdroje, označení benchmarku, revize nebo hash tabulky, metrika a jednotka |
| Případy a pokusy | Revize a část datové sady, přesná ID případů a pokusů, jmenovatel při výpočtu skóre a pravidla vyřazení |
| Podmínky běhu | Revize agenta i modelu, nástroje, hodnoticí nástroj a konfigurace, rozpočet, identifikátor prostředí a hash obrazu, je-li k dispozici |
| Podklady | Výstupy nebo výsledky jednotlivých případů, neměnná umístění souborů a ověřené hashe |
Vyvozujte závěry o výkonu jen v rozsahu, který dokládají vaše záznamy. U historické citace uveďte přesný zdroj. Při porovnání agentů uveďte párované výsledky případů a jejich pokrytí za popsaných podmínek.