# Går det att jämföra två benchmarkresultat?

Börja med beslutet som resultaten ska ligga till grund för. Om du citerar ett historiskt resultat, identifiera exakt vilken tabell som publicerades. Om du ska välja mellan två agenter, kontrollera att de mötte samma fall enligt samma regler och jämför sedan resultaten från de fallen. Fyra offentliga exempel visar varför kontrollerna behövs.

## Hitta tabellen som källhänvisningen avser

LiveBench använde samma topplistebeteckning, `2025-05-30`, för två olika källtabeller. De två tabellerna är knutna till bestämda revisioner och har 30 modellbeteckningar gemensamt. För 28 av dem är minst ett av de två resultaten i den separata kategorin Coding högre i den senare tabellen. De ansvariga uppger att de körde om Agentic Coding med ändrat testramverk och ändrad steggräns. Källtabellerna visar inte varför de separata Coding-resultaten ändrades. Spara tabellrevisionen eller filens hashvärde tillsammans med den citerade siffran och ange benchmarkens datumetikett i ett separat fält. [Tidigare LiveBench-tabell](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Senare LiveBench-tabell](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Ändringslogg från de ansvariga](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Matcha fallen innan du jämför andelen lyckade resultat

Två exempel på resursgränser väljer vardera 44 av de 66 uppgifterna i Terminal-Bench v4.1.0. Endast 36 uppgifts-ID:n finns i båda urvalen. Gränserna är 4 CPU:er, 8 192 MB minne och 10 240 MB lagring, eller 2 CPU:er, 16 384 MB minne och 20 480 MB lagring. Resursfiltret tillämpar varje gräns på de deklarerade resurserna för både uppgiftsmiljön och verifieringsmiljön. Resultaten nedan är fiktiva. [Resursinställningar och filter i Terminal-Bench](https://sapien1.com/sv/research/terminal-bench-resource-settings)

Anta att agent A löser 32 fall i det första urvalet och agent B löser 34 i det andra. Varje urval har åtta fall utanför den gemensamma mängden. A kan därför ha löst mellan 24 och 32 av de 36 gemensamma fallen och B mellan 26 och 34. Om A löste 32 gemensamma fall och B löste 26 skulle A leda med sex i den gemensamma mängden. Om A löste 24 och B löste 34 skulle B leda med tio. Båda scenarierna stämmer med de angivna totalerna.

| Fiktivt resultat | Lösta fall i det egna urvalet på 44 fall | Möjligt antal lösta fall av de 36 gemensamma |
| --- | ---: | ---: |
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |

I det här exemplet avgör totalerna inte ordningen på de gemensamma fallen. Be om resultat för varje fall eller bedöm båda agenterna utifrån samma verifierade fallista. Om körningarna använde olika resursbudgetar, beskriv resultatet som en jämförelse av de konfigurationerna. Håll budgeten och övriga körvillkor konstanta för att isolera effekten av att byta agent. Bestäm den gemensamma nämnaren och hur saknade, misslyckade eller obedömda körningar räknas innan du rangordnar agenterna. Rapportera täckningen som detta ger.

## Kontrollera att bedömningen använde samma indata

Testversionerna av SWE-bench Verified från februari och augusti 2026 innehåller samma 500 fall-ID:n. Två commits i augusti tog bort en förväntad regressionstestpost för ett Astropy-fall och fem för ett Django-fall. Revisionerna visar vad som ändrades i de sparade listorna. Bedöm samma föreslagna kodändringar med båda revisionerna för att mäta effekten på resultaten och håll övriga inställningar konstanta. Använd samma datarevision, bedömningsmetod, körmiljö och utvärderingsalternativ för båda agenterna. [Testversionen från februari](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Testversionen från augusti](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Första ändringen i SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Andra ändringen i SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Källkod till bedömningen](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Verifiera filen med resultat per fall innan du använder den

Every Eval Ever tillhandahåller aggregerade poster och ett index för varje samling så att läsaren kan hitta resultat för enskilda exempel. Vid en fast revision av datalagret anger de två källorna olika SHA-256-värden för tillhörande exempelfiler i samtliga 14 poster i `MMLU-Pro`-indexet och samtliga 11 i `gsm8k`-indexet. Den första listade exempelfilen som hämtades för varje samling matchade indexets hashvärde. Kontrollsumman i den aggregerade posten avvek. Detta konstaterar en skillnad på filnivå. Kontrollen bedömer varken resultatens riktighet eller orsaken till skillnaden. [MMLU-Pro-index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K-index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Exempel på aggregerad post i GSM8K](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Spara den oföränderliga filsökvägen och det verifierade hashvärdet tillsammans med de parade resultat du använder. Om publicerarens uppgifter strider mot varandra, red ut avvikelsen innan du använder filen som belägg för resultatet.

## Dokumentera jämförelsen

| Post | Vad du ska spara |
| --- | --- |
| Publicerat resultat | Källans URL, benchmarkbeteckning, tabellrevision eller hashvärde, mått och enhet |
| Fall och försök | Datarevision och delmängd, exakta fall- och försöks-ID:n, nämnare för poängen och uteslutningsregler |
| Körvillkor | Agent- och modellrevisioner, verktyg, bedömning och konfiguration, budget, miljö-ID och avbildens hashvärde om det finns |
| Underlag | Utdata eller resultat per fall, oföränderliga filplatser och verifierade hashvärden |

Dra slutsatser om prestanda inom de gränser som underlaget stöder. Ange den exakta källan för ett historiskt citat. Vid en agentjämförelse, rapportera parade fallresultat och täckning under de angivna villkoren.
