Gå til hovedinnholdet

Meny

Forskning

Kan du sammenligne to referansetestresultater?

Språk: Norsk bokmål

Begynn med beslutningen som resultatene skal støtte. Hvis du siterer et historisk resultat, finn den nøyaktige publiserte tabellen. Når du skal velge mellom to agenter, sjekk at de fikk de samme tilfellene under samme regler. Bruk resultatene fra disse tilfellene til å sammenligne dem. Fire offentlige eksempler viser hvorfor kontrollene er viktige.

Finn tabellen som sitatet viser til

LiveBench brukte samme resultatlisteetikett, 2025-05-30, for to ulike kildetabeller. De to tabellene er knyttet til hver sin revisjon og har 30 modellbetegnelser felles. For 28 av dem er minst én av de to poengsummene i den separate kategorien Coding høyere i den nyeste tabellen. De ansvarlige beskriver en ny kjøring av Agentic Coding med endret testrammeverk og endret grense for antall steg. Kildetabellene viser ikke årsaken til endringene i Coding. Lagre tabellrevisjonen eller filens hashverdi sammen med tallet du siterer. Behold datomerkingen til referansetesten i et eget felt. Tidligere LiveBench-tabell · Senere LiveBench-tabell · De ansvarliges endringslogg

Bruk samsvarende tilfeller før du sammenligner suksessrater

To eksempler på ressursgrenser velger hver 44 av de 66 oppgavene i Terminal-Bench v4.1.0. Bare 36 oppgave-ID-er inngår i begge utvalgene. Grensene er 4 CPU-er, 8 192 MB minne og 10 240 MB lagring eller 2 CPU-er, 16 384 MB minne og 20 480 MB lagring. Ressursfilteret bruker hver grense på de oppgitte verdiene for både oppgavemiljøet og verifiseringsmiljøet. Resultatene nedenfor er fiktive. Ressursinnstillinger og filter i Terminal-Bench

Anta at agent A løser 32 tilfeller i det første utvalget, og at agent B løser 34 i det andre. Hvert utvalg har åtte tilfeller som er utenfor fellesmengden. A kan derfor ha løst mellom 24 og 32 av de 36 felles tilfellene, og B mellom 26 og 34. Hvis A løste 32 felles tilfeller og B løste 26, ville A lede med seks innenfor fellesmengden. Hvis A løste 24 og B løste 34, ville B lede med ti. Begge scenariene stemmer med de oppgitte totalene.

Fiktivt resultatLøste tilfeller i eget utvalg på 44Mulige løste tilfeller blant de 36 felles
Agent A3224–32
Agent B3426–34

I dette eksemplet avgjør ikke totalene rekkefølgen for de felles tilfellene. Be om resultater per tilfelle, eller vurder begge agentene på samme verifiserte liste. Hvis kjøringene hadde ulike ressursbudsjetter, beskriv resultatet som en sammenligning av de konfigurasjonene. Hold budsjettet og andre kjørebetingelser like for å isolere virkningen av å bytte agent. Fastsett en felles nevner og avgjør hvordan manglende, mislykkede eller uvurderte kjøringer teller før du rangerer agentene. Rapporter dekningen det gir.

Kontroller at vurderingen brukte de samme inngangsdataene

Testversjonene av SWE-bench Verified fra februar og august 2026 inneholder de samme 500 tilfelle-ID-ene. To commits fra august fjernet én forventet regresjonstestoppføring for et Astropy-tilfelle og fem for et Django-tilfelle. Revisjonene viser hva som ble endret i de lagrede listene. Vurder de samme foreslåtte endringene med begge revisjoner og hold de andre innstillingene like for å måle virkningen på poengsummene. Bruk samme datasettversjon, vurderingsmetode, kjøremiljø og evalueringsvalg for begge agenter. Testversjonen fra februar · Testversjonen fra august · Første SWE-bench-endring · Andre SWE-bench-endring · Kildekoden til vurderingen

Verifiser filen med resultater per tilfelle før bruk

Every Eval Ever tilbyr aggregerte oppføringer og en indeks per samling for å finne resultater for enkeltprøver. Ved én fast revisjon av datalageret oppgir de to kildene forskjellige SHA-256-verdier for tilhørende prøvefiler i alle 14 oppføringer i MMLU-Pro-indeksen og alle 11 i gsm8k-indeksen. Den første oppførte prøvefilen vi hentet ned for hver samling, hadde samme hash som indeksen oppga. Kontrollsummen i den aggregerte oppføringen var annerledes. Kontrollen påviser et avvik mellom filopplysningene. Den fastslår ikke om poengsummene er riktige eller hva som forårsaket avviket. MMLU-Pro-indeks · GSM8K-indeks · Eksempel på aggregert GSM8K-oppføring

Ta vare på den uforanderlige filplasseringen og den verifiserte hashverdien sammen med resultatene du har paret. Hvis utgiverens opplysninger er motstridende, må du avklare avviket før du bruker filen som belegg for poengsummen.

Dokumenter sammenligningen

OppføringHva du bør lagre
Publisert resultatKilde-URL, referansetestetikett, tabellrevisjon eller hash, måltall og enhet
Tilfeller og forsøkDatasettversjon og oppdeling, nøyaktige ID-er for tilfeller og forsøk, nevner for poengberegningen og eksklusjonsregler
KjørebetingelserAgent- og modellrevisjoner, verktøy, vurdering og konfigurasjon, budsjett, miljø-ID og hash for avbildningen dersom den finnes
DokumentasjonUtdata eller utfall per tilfelle, uforanderlige filplasseringer og verifiserte hashverdier

Trekk konklusjoner om ytelse så langt dokumentasjonen rekker. Oppgi den nøyaktige kilden når du siterer et historisk resultat. For en agentsammenligning, rapporter parede resultater per tilfelle og dekningen under de angitte betingelsene.