# Kun je twee benchmarkscores vergelijken?

Begin bij de beslissing waarvoor je de scores nodig hebt. Zoek voor een historisch citaat de precieze gepubliceerde tabel op. Controleer bij een keuze tussen twee agents of ze dezelfde gevallen volgens dezelfde regels behandelden. Vergelijk ze vervolgens op basis van die uitkomsten. Vier openbare voorbeelden laten zien waarom die controles nodig zijn.

## Zoek de tabel waarnaar het citaat verwijst

LiveBench gebruikte hetzelfde ranglijstlabel, `2025-05-30`, voor twee verschillende brontabellen. De twee tabellen zijn vastgelegd op specifieke revisies en hebben 30 modellabels gemeen. Bij 28 daarvan is minstens een van de twee scores in de aparte categorie Coding hoger in de nieuwere tabel. De beheerders melden dat ze Agentic Coding opnieuw hebben uitgevoerd met een aangepaste testomgeving en een andere limiet voor het aantal stappen. Uit de brontabellen blijkt niet waarom de scores voor Coding zijn veranderd. Bewaar de tabelrevisie of bestandshash bij het geciteerde getal en noteer het datumlabel van de benchmark in een afzonderlijk veld. [Eerdere LiveBench-tabel](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Latere LiveBench-tabel](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Wijzigingslog van de beheerders](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Koppel dezelfde gevallen voordat je succespercentages vergelijkt

Twee voorbeeldlimieten voor middelen selecteren elk 44 van de 66 taken in Terminal-Bench v4.1.0. Slechts 36 taak-ID’s komen in beide selecties voor. De limieten zijn 4 CPU’s, 8.192 MB werkgeheugen en 10.240 MB opslag, of 2 CPU’s, 16.384 MB werkgeheugen en 20.480 MB opslag. Het filter past elke limiet toe op de opgegeven waarden voor zowel de taakomgeving als de verificatieomgeving. De volgende uitkomsten zijn fictief. [Instellingen en middelenfilter van Terminal-Bench](https://sapien1.com/nl/research/terminal-bench-resource-settings)

Stel dat agent A 32 gevallen in de eerste selectie oplost en agent B 34 in de tweede. Elke selectie telt acht gevallen buiten de gemeenschappelijke verzameling. A kan dus tussen 24 en 32 van de 36 gedeelde gevallen hebben opgelost en B tussen 26 en 34. Als A 32 gedeelde gevallen oploste en B 26, staat A in de gemeenschappelijke verzameling zes voor. Loste A er 24 op en B 34, dan staat B tien voor. Beide scenario’s passen bij de gerapporteerde totalen.

| Fictief resultaat | Opgelost in de eigen selectie van 44 gevallen | Mogelijk opgelost van de 36 gedeelde gevallen |
| --- | ---: | ---: |
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |

In dit voorbeeld bepalen de totalen de volgorde op de gedeelde gevallen niet. Vraag om de uitkomsten per geval of beoordeel beide agents op dezelfde geverifieerde lijst. Als de uitvoeringen verschillende middelenbudgetten hadden, presenteer het resultaat dan als een vergelijking van die configuraties. Houd het budget en de andere uitvoeringsvoorwaarden gelijk om het effect van de andere agent te isoleren. Stel de gemeenschappelijke noemer vast en bepaal vóór het rangschikken hoe ontbrekende, mislukte of onbeoordeelde uitvoeringen meetellen. Rapporteer de dekking die dat oplevert.

## Controleer of de beoordelaar dezelfde invoer gebruikte

De testmomentopnamen van SWE-bench Verified uit februari en augustus 2026 bevatten dezelfde 500 gevals-ID’s. In twee commits uit augustus is één verwachte regressietestvermelding verwijderd bij een Astropy-geval en zijn er vijf verwijderd bij een Django-geval. De revisies laten zien wat er in de opgeslagen lijsten veranderde. Beoordeel dezelfde kandidaatpatches met beide revisies om het effect op de scores te meten en houd de overige instellingen gelijk. Gebruik voor beide agents dezelfde datasetrevisie, beoordelaar, uitvoeringsomgeving en beoordelingsopties. [Testmomentopname uit februari](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Testmomentopname uit augustus](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Eerste wijziging in SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Tweede wijziging in SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Broncode van de beoordelaar](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Controleer het bestand met resultaten per geval vóór gebruik

Every Eval Ever biedt geaggregeerde gegevens en een collectie-index om resultaten per voorbeeld te vinden. Bij één vaste revisie van de gegevensopslag geven beide bronnen verschillende SHA-256-waarden voor de bijbehorende voorbeeldbestanden in alle 14 vermeldingen in de `MMLU-Pro`-index en alle 11 in de `gsm8k`-index. Het eerst genoemde en gedownloade voorbeeldbestand van elke collectie kwam overeen met de hash in de index. De hash in het geaggregeerde record week af. Deze controle toont een verschil op bestandsniveau aan. De juistheid van de scores en de oorzaak van het verschil zijn hiermee niet vastgesteld. [MMLU-Pro-index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K-index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Voorbeeld van een geaggregeerd GSM8K-record](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Bewaar de onveranderlijke bestandslocatie en de geverifieerde hash bij de gekoppelde resultaten die je gebruikt. Als de opgaven van de uitgever elkaar tegenspreken, los het verschil dan op voordat je het bestand als bewijs voor de score gebruikt.

## Leg de vergelijking vast

| Onderdeel | Wat je bewaart |
| --- | --- |
| Gepubliceerd resultaat | Bron-URL, benchmarklabel, revisie of hash van de tabel, metriek en eenheid |
| Gevallen en pogingen | Revisie en splitsing van de dataset, exacte gevals- en poging-ID’s, scorenoemer en uitsluitingsregels |
| Voorwaarden van de uitvoering | Revisies van agent en model, hulpmiddelen, beoordelaar en configuratie, budget, omgevings-ID en waar beschikbaar de image-hash |
| Bewijs | Uitvoer of uitkomsten per geval, onveranderlijke bestandslocaties en geverifieerde hashes |

Trek conclusies over de prestaties voor zover je gegevens die ondersteunen. Noem voor een historisch citaat de exacte bron. Rapporteer voor een vergelijking tussen agents de gekoppelde gevalsresultaten en de dekking onder de genoemde omstandigheden.
