# Kann man zwei Benchmark-Ergebnisse vergleichen?

Beginnen Sie mit der Entscheidung, die Sie anhand der Ergebnisse treffen möchten. Um ein historisches Ergebnis zu zitieren, bestimmen Sie genau, aus welcher veröffentlichten Tabelle es stammt. Wenn Sie zwischen zwei Agenten wählen, prüfen Sie, ob beide dieselben Fälle nach denselben Regeln bearbeitet haben, und führen Sie den Vergleich anhand dieser Ergebnisse durch. Vier öffentliche Beispiele zeigen, warum diese Prüfungen wichtig sind.

## Die Tabelle zur zitierten Zahl finden

LiveBench verwendete dieselbe Ranglistenbezeichnung, `2025-05-30`, für zwei verschiedene Quelltabellen. In beiden fest referenzierten Tabellen kommen 30 gleiche Modellbezeichnungen vor. Bei 28 davon ist mindestens einer der beiden Werte in der eigenständigen Kategorie Coding in der neueren Tabelle höher. Die Verantwortlichen berichten von einer erneuten Ausführung von Agentic Coding mit geändertem Testsystem und neuer Schrittgrenze. Aus den Quelltabellen geht nicht hervor, warum sich die Werte in Coding änderten. Speichern Sie die Revision der Tabelle oder den Hash der Datei zusammen mit der zitierten Zahl. Halten Sie die Datumsbezeichnung des Benchmarks in einem eigenen Feld fest. [Frühere LiveBench-Tabelle](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [Neuere LiveBench-Tabelle](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [Änderungsprotokoll der Verantwortlichen](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## Vor dem Vergleich der Erfolgsquoten dieselben Fälle zuordnen

Zwei beispielhafte Ressourcenobergrenzen wählen jeweils 44 der 66 Aufgaben in Terminal-Bench v4.1.0 aus. Nur 36 Aufgaben-IDs kommen in beiden Auswahlen vor. Die Grenzen betragen 4 CPUs, 8.192 MB Arbeitsspeicher und 10.240 MB Speicherplatz oder 2 CPUs, 16.384 MB Arbeitsspeicher und 20.480 MB Speicherplatz. Der Ressourcenfilter wendet jede Obergrenze auf die deklarierten Werte für die Aufgaben- und die Prüfumgebung an. Die folgenden Ergebnisse sind fiktiv. [Ressourceneinstellungen und Filter von Terminal-Bench](https://sapien1.com/de/research/terminal-bench-resource-settings)

Angenommen, Agent A löst 32 Fälle in der ersten Auswahl und Agent B 34 in der zweiten. Jede Auswahl enthält acht Fälle außerhalb der gemeinsamen Menge. A könnte somit zwischen 24 und 32 der 36 gemeinsamen Fälle gelöst haben und B zwischen 26 und 34. Wenn A 32 gemeinsame Fälle löst und B 26, liegt A auf der gemeinsamen Menge um sechs Fälle vorne. Löst A 24 und B 34, liegt B um zehn Fälle vorne. Beide Szenarien passen zu den angegebenen Gesamtzahlen.

| Fiktives Ergebnis | Gelöste Fälle in der eigenen Auswahl aus 44 Fällen | Mögliche Zahl gelöster Fälle unter den 36 gemeinsamen Fällen |
| --- | ---: | ---: |
| Agent A | 32 | 24–32 |
| Agent B | 34 | 26–34 |

In diesem Beispiel reichen die Gesamtzahlen nicht aus, um die Reihenfolge bei den gemeinsamen Fällen zu bestimmen. Fragen Sie nach Ergebnissen für einzelne Fälle oder bewerten Sie beide Agenten anhand derselben überprüften Fallliste. Wenn die Ausführungen unterschiedliche Ressourcenbudgets nutzten, beschreiben Sie das Ergebnis als Vergleich dieser Konfigurationen. Um die Wirkung des Agentenwechsels zu isolieren, halten Sie das Budget und die übrigen Ausführungsbedingungen konstant. Legen Sie den gemeinsamen Nenner fest und entscheiden Sie vor dem Erstellen der Rangfolge, wie fehlende, fehlgeschlagene oder unbewertete Ausführungen zählen. Geben Sie die daraus resultierende Abdeckung an.

## Prüfen, ob die Bewertung dieselben Eingaben verwendete

Die Test-Snapshots von SWE-bench Verified aus Februar und August 2026 enthalten dieselben 500 Fall-IDs. Zwei Commits vom August entfernten einen Eintrag für einen erwarteten Regressionstest bei einem Astropy-Fall und fünf bei einem Django-Fall. Die Revisionen zeigen, was sich in den gespeicherten Listen geändert hat. Um die Auswirkung auf die Ergebnisse zu messen, bewerten Sie dieselben Patch-Kandidaten mit beiden Revisionen und lassen Sie die anderen Einstellungen gleich. Verwenden Sie für beide Agenten dieselbe Datensatzrevision, dasselbe Bewertungsverfahren, dieselbe Ausführungsumgebung und dieselben Bewertungsoptionen. [Test-Snapshot vom Februar](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [Test-Snapshot vom August](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [Erste Änderung in SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [Zweite Änderung in SWE-bench](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [Quellcode der Bewertung](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## Vor der Nutzung die Datei mit den Einzelergebnissen prüfen

Every Eval Ever stellt aggregierte Datensätze und einen Sammlungsindex bereit, mit dem sich Ergebnisse für einzelne Beispiele finden lassen. Bei einer fest referenzierten Revision des Datenspeichers geben die beiden Quellen unterschiedliche SHA-256-Werte für die zugehörigen Beispieldateien in allen 14 Einträgen des `MMLU-Pro`-Index und in allen 11 Einträgen des `gsm8k`-Index an. In beiden Sammlungen stimmte der Hash der jeweils ersten heruntergeladenen Beispieldatei mit dem im Index angegebenen Wert überein. Die Prüfsumme im aggregierten Datensatz war anders. Diese Prüfung zeigt eine Abweichung auf Dateiebene. Sie lässt die Richtigkeit der Ergebnisse und die Ursache der Abweichung offen. [MMLU-Pro-Index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K-Index](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [Beispiel für einen aggregierten GSM8K-Datensatz](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

Bewahren Sie den unveränderlichen Dateipfad und den überprüften Hash zusammen mit den von Ihnen verwendeten gepaarten Ergebnissen auf. Wenn die Angaben des Herausgebers einander widersprechen, klären Sie die Abweichung, bevor Sie die Datei als Beleg für das Ergebnis heranziehen.

## Den Vergleich dokumentieren

| Eintrag | Was Sie speichern sollten |
| --- | --- |
| Veröffentlichtes Ergebnis | Quell-URL, Benchmark-Bezeichnung, Revision oder Hash der Tabelle, Metrik und Einheit |
| Fälle und Versuche | Revision und Teilmenge des Datensatzes, genaue Fall- und Versuchs-IDs, Nenner und Ausschlussregeln |
| Ausführungsbedingungen | Revisionen von Agent und Modell, Werkzeuge, Bewertung und Konfiguration, Budget, Umgebungskennung und, sofern verfügbar, Image-Hash |
| Belege | Ausgaben oder Ergebnisse pro Fall, unveränderliche Speicherorte und überprüfte Hashes |

Beschränken Sie Ihre Aussage zur Leistung auf das, was Ihre Unterlagen stützen. Geben Sie bei einem historischen Zitat die genaue Quelle an. Berichten Sie beim Vergleich von Agenten die paarweise zugeordneten Fallergebnisse und die Abdeckung unter den genannten Bedingungen.
