Gå til hovedindholdet

Menu

Forskning

Kan man sammenligne to benchmarkresultater?

Sprog: Dansk

Begynd med den beslutning, resultaterne skal understøtte. Find præcis den offentliggjorte tabel, hvis du vil citere et historisk resultat. Når du skal vælge mellem to agenter, så kontrollér, at de behandlede de samme tilfælde under de samme regler, og sammenlign resultaterne for de tilfælde. Fire offentlige eksempler viser, hvorfor kontrollerne er vigtige.

Find tabellen, som citatet henviser til

LiveBench anvendte samme ranglistebetegnelse, 2025-05-30, for to forskellige kildetabeller. De to tabeller er knyttet til hver sin revision og har 30 modelbetegnelser til fælles. For 28 af dem er mindst én af de to scorer i den særskilte kategori Coding højere i den senere tabel. De ansvarlige beskriver, at de kørte Agentic Coding igen med en ændret testramme og en ny grænse for antal trin. Kildetabellerne afgør ikke, hvorfor scorerne i Coding ændrede sig. Gem tabelrevisionen eller filens hashværdi sammen med det citerede tal, og gem benchmarkens datoetiket i et særskilt felt. Tidligere LiveBench-tabel · Senere LiveBench-tabel · De ansvarliges ændringslog

Match tilfældene, før du sammenligner succesrater

To eksempler på ressourcegrænser udvælger hver især 44 af de 66 opgaver i Terminal-Bench v4.1.0. Kun 36 opgave-id’er optræder i begge udvalg. Grænserne er 4 CPU’er, 8.192 MB hukommelse og 10.240 MB lagerplads eller 2 CPU’er, 16.384 MB hukommelse og 20.480 MB lagerplads. Ressourcefilteret anvender hver grænse på de angivne ressourcer for både opgavemiljøet og verifikationsmiljøet. Resultaterne nedenfor er fiktive. Ressourceindstillinger og filter i Terminal-Bench

Antag, at agent A løser 32 tilfælde i det første udvalg, og at agent B løser 34 i det andet. Hvert udvalg indeholder otte tilfælde uden for den fælles mængde. A kan derfor have løst mellem 24 og 32 af de 36 fælles tilfælde, mens B kan have løst mellem 26 og 34. Hvis A løste 32 fælles tilfælde og B løste 26, ville A føre med seks i den fælles mængde. Hvis A løste 24 og B løste 34, ville B føre med ti. Begge scenarier passer til de rapporterede totaler.

Fiktivt resultatLøste tilfælde i eget udvalg på 44 tilfældeMuligt antal løste blandt de 36 fælles
Agent A3224–32
Agent B3426–34

I dette eksempel afgør totalerne ikke rækkefølgen for de fælles tilfælde. Bed om resultater for hvert tilfælde, eller bedøm begge agenter med samme verificerede liste. Hvis kørslerne brugte forskellige ressourcebudgetter, så beskriv resultatet som en sammenligning af de konfigurationer. Behold budgettet og de øvrige kørselsvilkår for at isolere effekten af at skifte agent. Fastlæg den fælles nævner, og beslut, hvordan manglende, mislykkede eller ubedømte kørsler tæller med, før du rangordner agenterne. Oplys den dækning, det giver.

Kontrollér, at bedømmelsen brugte de samme input

Testversionerne af SWE-bench Verified fra februar og august 2026 indeholder de samme 500 tilfælde-id’er. To commits fra august fjernede én forventet regressionstestpost for et Astropy-tilfælde og fem for et Django-tilfælde. Revisionerne viser, hvad der ændrede sig i de lagrede lister. Bedøm de samme foreslåede rettelser med begge revisioner for at måle effekten på scorerne, og behold de øvrige indstillinger. Brug samme datasætrevision, bedømmelse, kørselsmiljø og evalueringsvalg for begge agenter. Testversionen fra februar · Testversionen fra august · Første ændring i SWE-bench · Anden ændring i SWE-bench · Kildekoden til bedømmelsen

Kontrollér filen med resultater pr. tilfælde, før du bruger den

Every Eval Ever giver adgang til aggregerede poster og et samlingsindeks, som gør det muligt at finde resultater for de enkelte eksempler. I en fast revision af datalageret angiver de to kilder forskellige SHA-256-værdier for de tilknyttede eksempelfiler i alle 14 poster i MMLU-Pro-indekset og alle 11 poster i gsm8k-indekset. Den først angivne eksempelfil, der blev hentet fra hver samling, matchede hashværdien i indekset. Kontrolsummen i den aggregerede post var anderledes. Kontrollen påviser en forskel på filniveau. Den fastslår hverken scorernes rigtighed eller årsagen til forskellen. MMLU-Pro-indeks · GSM8K-indeks · Eksempel på en aggregeret GSM8K-post

Gem filens uforanderlige placering og dens verificerede hashværdi sammen med de parrede resultater, du bruger. Hvis udgiverens oplysninger er modstridende, så afklar forskellen, før du bruger filen som dokumentation for scoren.

Dokumentér sammenligningen

PostHvad du skal gemme
Offentliggjort resultatKilde-URL, benchmarkbetegnelse, tabelrevision eller hashværdi, måltal og enhed
Tilfælde og forsøgDatasætrevision og opdeling, nøjagtige id’er for tilfælde og forsøg, scorens nævner og udelukkelsesregler
KørselsvilkårAgent- og modelrevisioner, værktøjer, bedømmelse og konfiguration, budget, miljø-id og image-hash, hvor det findes
DokumentationOutput eller udfald pr. tilfælde, uforanderlige filplaceringer og verificerede hashværdier

Drag kun konklusioner om ydeevne i det omfang, dokumentationen understøtter dem. Angiv den nøjagtige kilde ved et historisk citat. For en sammenligning mellem agenter skal du rapportere parrede resultater pr. tilfælde og dækningen under de angivne vilkår.