Forskning
Kan du sammenligne to referansetestresultater?
Begynn med beslutningen som resultatene skal støtte. Hvis du siterer et historisk resultat, finn den nøyaktige publiserte tabellen. Når du skal velge mellom to agenter, sjekk at de fikk de samme tilfellene under samme regler. Bruk resultatene fra disse tilfellene til å sammenligne dem. Fire offentlige eksempler viser hvorfor kontrollene er viktige.
Finn tabellen som sitatet viser til
LiveBench brukte samme resultatlisteetikett, 2025-05-30, for to ulike kildetabeller. De to tabellene er knyttet til hver sin revisjon og har 30 modellbetegnelser felles. For 28 av dem er minst én av de to poengsummene i den separate kategorien Coding høyere i den nyeste tabellen. De ansvarlige beskriver en ny kjøring av Agentic Coding med endret testrammeverk og endret grense for antall steg. Kildetabellene viser ikke årsaken til endringene i Coding. Lagre tabellrevisjonen eller filens hashverdi sammen med tallet du siterer. Behold datomerkingen til referansetesten i et eget felt. Tidligere LiveBench-tabell · Senere LiveBench-tabell · De ansvarliges endringslogg
Bruk samsvarende tilfeller før du sammenligner suksessrater
To eksempler på ressursgrenser velger hver 44 av de 66 oppgavene i Terminal-Bench v4.1.0. Bare 36 oppgave-ID-er inngår i begge utvalgene. Grensene er 4 CPU-er, 8 192 MB minne og 10 240 MB lagring eller 2 CPU-er, 16 384 MB minne og 20 480 MB lagring. Ressursfilteret bruker hver grense på de oppgitte verdiene for både oppgavemiljøet og verifiseringsmiljøet. Resultatene nedenfor er fiktive. Ressursinnstillinger og filter i Terminal-Bench
Anta at agent A løser 32 tilfeller i det første utvalget, og at agent B løser 34 i det andre. Hvert utvalg har åtte tilfeller som er utenfor fellesmengden. A kan derfor ha løst mellom 24 og 32 av de 36 felles tilfellene, og B mellom 26 og 34. Hvis A løste 32 felles tilfeller og B løste 26, ville A lede med seks innenfor fellesmengden. Hvis A løste 24 og B løste 34, ville B lede med ti. Begge scenariene stemmer med de oppgitte totalene.
| Fiktivt resultat | Løste tilfeller i eget utvalg på 44 | Mulige løste tilfeller blant de 36 felles |
|---|---|---|
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |
I dette eksemplet avgjør ikke totalene rekkefølgen for de felles tilfellene. Be om resultater per tilfelle, eller vurder begge agentene på samme verifiserte liste. Hvis kjøringene hadde ulike ressursbudsjetter, beskriv resultatet som en sammenligning av de konfigurasjonene. Hold budsjettet og andre kjørebetingelser like for å isolere virkningen av å bytte agent. Fastsett en felles nevner og avgjør hvordan manglende, mislykkede eller uvurderte kjøringer teller før du rangerer agentene. Rapporter dekningen det gir.
Kontroller at vurderingen brukte de samme inngangsdataene
Testversjonene av SWE-bench Verified fra februar og august 2026 inneholder de samme 500 tilfelle-ID-ene. To commits fra august fjernet én forventet regresjonstestoppføring for et Astropy-tilfelle og fem for et Django-tilfelle. Revisjonene viser hva som ble endret i de lagrede listene. Vurder de samme foreslåtte endringene med begge revisjoner og hold de andre innstillingene like for å måle virkningen på poengsummene. Bruk samme datasettversjon, vurderingsmetode, kjøremiljø og evalueringsvalg for begge agenter. Testversjonen fra februar · Testversjonen fra august · Første SWE-bench-endring · Andre SWE-bench-endring · Kildekoden til vurderingen
Verifiser filen med resultater per tilfelle før bruk
Every Eval Ever tilbyr aggregerte oppføringer og en indeks per samling for å finne resultater for enkeltprøver. Ved én fast revisjon av datalageret oppgir de to kildene forskjellige SHA-256-verdier for tilhørende prøvefiler i alle 14 oppføringer i MMLU-Pro-indeksen og alle 11 i gsm8k-indeksen. Den første oppførte prøvefilen vi hentet ned for hver samling, hadde samme hash som indeksen oppga. Kontrollsummen i den aggregerte oppføringen var annerledes. Kontrollen påviser et avvik mellom filopplysningene. Den fastslår ikke om poengsummene er riktige eller hva som forårsaket avviket. MMLU-Pro-indeks · GSM8K-indeks · Eksempel på aggregert GSM8K-oppføring
Ta vare på den uforanderlige filplasseringen og den verifiserte hashverdien sammen med resultatene du har paret. Hvis utgiverens opplysninger er motstridende, må du avklare avviket før du bruker filen som belegg for poengsummen.
Dokumenter sammenligningen
| Oppføring | Hva du bør lagre |
|---|---|
| Publisert resultat | Kilde-URL, referansetestetikett, tabellrevisjon eller hash, måltall og enhet |
| Tilfeller og forsøk | Datasettversjon og oppdeling, nøyaktige ID-er for tilfeller og forsøk, nevner for poengberegningen og eksklusjonsregler |
| Kjørebetingelser | Agent- og modellrevisjoner, verktøy, vurdering og konfigurasjon, budsjett, miljø-ID og hash for avbildningen dersom den finnes |
| Dokumentasjon | Utdata eller utfall per tilfelle, uforanderlige filplasseringer og verifiserte hashverdier |
Trekk konklusjoner om ytelse så langt dokumentasjonen rekker. Oppgi den nøyaktige kilden når du siterer et historisk resultat. For en agentsammenligning, rapporter parede resultater per tilfelle og dekningen under de angitte betingelsene.