# Vollerhebung der Ressourceneinstellungen von Terminal-Bench

Erstellt: 2026-11-17
Aktualisiert: 2026-11-17

## Frage und Grundgesamtheit

Welche aufgabenspezifischen Angaben würde eine einheitliche Sandbox-Voreinstellung in Terminal-Bench v4.1.0 ändern? Diese Studie vergleicht veröffentlichte Einstellungen, damit Evaluationsteams eine Umgebungskonfiguration auswählen und dokumentieren können. Sie schätzt weder den tatsächlichen Ressourcenverbrauch noch Mindesthardware, Kosten, Bearbeitungsdauer, Modellleistung oder Ausfallwahrscheinlichkeit.

Die Grundgesamtheit umfasst alle 66 Einträge des offiziellen Release-Manifests von v4.1.0, nicht jede aufgabenähnliche Datei im Repository. Das Release wurde am 3. November 2026 veröffentlicht. Die Konfigurationsmetadaten wurden am 17. November 2026 gelesen. Die [offizielle Datensatzkarte](https://huggingface.co/datasets/harborframework/terminal-bench) nennt das Release und sein [Manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Das Quell-Repository ist in `harbor-framework/terminal-bench` auf Commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` festgelegt.

Der SHA-256-Hash des Manifests lautet `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Jede Beobachtung enthält eine festgelegte Quell-URL und den SHA-256-Hash der vollständigen Quelldatei `task.toml`. Ältere Aufgaben, CI-Fixtures und Vorlagen außerhalb des Release-Manifests sind ausgeschlossen. Es wurden keine Aufgaben, Container, Modelle oder Verifikationsskripte ausgeführt.

## Extraktion

Die Untersuchungseinheit ist eine Aufgabe aus dem Manifest. Das Erfassungsskript verarbeitet TOML mit der Python-Standardbibliothek und erfasst explizite Werte der obersten Umgebungsebene für CPU, Arbeitsspeicher, Speicherplatz, GPU, GPU-Typ, TPU und das Zeitlimit für den Build. Nicht angegebene Felder bleiben als ausgelassen erhalten. Die Zeitlimits für Agent und Verifier bleiben getrennt. Die numerischen Werte `1200` und `1200.0` gelten in zusammenfassenden Zählungen als gleichwertig; die Quelldaten der Beobachtungen behalten ihre eingelesenen Typen bei.

Das Vorhandensein eines Blocks für die Verifier-Umgebung wird getrennt vom Vorhandensein von Ressourcenfeldern erfasst. Das Erfassungsskript hält außerdem schema_version, die ältere Version auf oberster Ebene und die Aufgabenversion getrennt fest; es kennzeichnet ältere Ressourcen-Aliase, Schritte und zusätzliche Umgebungsblöcke. In diesem Release wurden keine älteren Ressourcen-Aliase oder Schritte gefunden. 6 Aufgaben haben explizite Blöcke für die Verifier-Umgebung. Die vollständigen Beobachtungen enthalten ausgewählte Felder dieser Blöcke; die wichtigsten CPU- und Arbeitsspeicherverteilungen beziehen sich nur auf die Umgebung der Aufgabe auf oberster Ebene.

Die 66 TOML-Quelldateien umfassen zusammen 85.966 Byte. Die veröffentlichte Extraktion enthält ausgewählte Konfigurationsangaben, Feldnamen, Aufgabenkennungen und Quell-Hashes. Sie enthält keine Aufgabenanweisungen, Lösungen, Tests, Kontaktinformationen der Autoren oder Werte von Umgebungsvariablen. Vollständige Quelldateien und Benchmark-Images werden in diesem Paket nicht weiterverbreitet.

## Konstruierter Vergleich

Für CPU, Arbeitsspeicher, Speicherplatz und GPU-Anzahl wurde jeweils der häufigste explizite Wert aus den 66 Umgebungsangaben auf oberster Ebene ausgewählt: 2 CPUs, 4.096 MB Arbeitsspeicher, 10.240 MB Speicherplatz und 0 GPUs. Die Kombination dieser Werte bildet die Vergleichsvoreinstellung. Sie ist weder ein Harbor-Standard noch eine Anbieterempfehlung oder eine beobachtete Evaluationskonfiguration.

Eine Aufgabe gehört zur Gruppe „über der Vergleichsvoreinstellung“, wenn mindestens ein explizit angegebener numerischer Wert größer ist als der entsprechende Wert der Voreinstellung. Gezählt wird die Vereinigungsmenge der Aufgabenkennungen, nicht die Summe der Anzahlen je Feld. Fehlende GPU-Werte zählen weder als null noch als Überschreitung. Die 8 Aufgaben ohne Angabe der GPU-Anzahl bleiben in den Quelldaten identifizierbar. Die Vereinigungsmenge von 38 Aufgaben misst einen Unterschied in den Angaben; sie sagt nicht voraus, ob eine Aufgabe mit einer bestimmten Voreinstellung ausgeführt werden oder bestehen kann.

Zusätzlich werden unterschiedliche Angabemuster für CPU, Arbeitsspeicher, Speicherplatz, GPU-Anzahl, GPU-Typ und TPU gezählt; Zeitlimits sind ausgeschlossen. Die ursprüngliche Anzahl beträgt 27 Muster. Werden fehlende GPU-Anzahlen auf null gesetzt, sinkt sie auf 22. Aufgrund dieser Empfindlichkeit stellt der Artikel einzelne Ressourcenfelder und einen transparenten Vergleich voran, statt die Anzahl der Muster als Anzahl von Hardwareanforderungen darzustellen.

## Interpretation des Runners

Der Harbor-Quellcode wurde bei Commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` geprüft; die Projektmetadaten weisen Version 0.26.0 aus. Die Ergebnisse beruhen auf einer Codeprüfung, nicht auf einer Validierung durch Ausführung aller Aufgaben oder Backends.

- Der [Aufgabenparser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) lässt für CPU, Arbeitsspeicher, Speicherplatz und GPU-Anzahl den Wert null zu und migriert ältere Zeichenfolgen für Arbeitsspeicher und Speicherplatz. Sein Schema-Versionsfeld ist eine Zeichenfolge; der Pfad zur Versionsmigration belegt für sich genommen nicht, dass jede Aufgabe ausgeführt werden kann.
- Die [Basisumgebung](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) wendet Überschreibungen für Testläufe an. Eine fehlende GPU-Anzahl wird dort zu null aufgelöst; Richtlinien zum Ignorieren von CPU- und Arbeitsspeicherwerten können deren Anwendung unterdrücken. Fehlende Angaben bleiben im Datensatz erhalten, auch wenn dieser Runner eine davon auf einen Wert abbildet.
- Die [Auflösung der Verifier-Umgebung](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) verwendet eine bereitgestellte Verifier-Umgebung als Ganzes; andernfalls kopiert sie die Aufgabenumgebung. Ein expliziter Verifier-Block wird nicht Feld für Feld mit den Agenteneinstellungen zusammengeführt. Bei der [Erstellung des Testlaufs](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) werden dennoch Umgebungsüberschreibungen übergeben.
- Der [Docker-Adapter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) bildet automatische CPU- und Arbeitsspeicherrichtlinien auf Limits ab und ignoriert die Auswahl des GPU-Typs ausdrücklich. Sein [Writer für Compose-Ressourcen](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) schreibt Beschränkungen für CPU, Arbeitsspeicher und GPU-Anzahl, aber keine Speicherplatzobergrenze. Bestehende Compose-Konfigurationen und andere Anbieter können sich anders verhalten.
- Die [Auflösung von Zeitlimits](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) und die [Budgetberechnung](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) erlauben Überschreibungen, Höchstwerte und Multiplikatoren. Angaben zu Zeitlimits für Agent, Verifier und Build sind keine beobachteten Laufzeiten. Ihre Summe wird nicht als Obergrenze für die Gesamtdauer eines Testlaufs behauptet.

Die Vollerhebung prüft nicht jedes Dockerfile, jeden Compose-Sidecar, jedes Image oder jeden externen Dienst. Diese können Ressourcenanforderungen und Einschränkungen außerhalb der Konfigurationsfelder auf oberster Ebene hinzufügen. Aus dieser Studie folgt keine Aussage über die Gültigkeit des Benchmarks oder Änderungen der Ergebnisse.

## Reproduzieren

Führe mit Python 3.11 oder neuer `python3 census.py` aus, um `census-results.json` aus `census.json` zu erzeugen. Führe `python3 census.py --collect` aus, um vor der Analyse das festgelegte Manifest und alle 66 auf feste Versionen gesetzten TOML-Dateien erneut abzurufen. Das Erfassungsskript führt höchstens 3 Lesezugriffe gleichzeitig aus, begrenzt das Manifest auf 300 KB und jede Aufgabe auf 100 KB und bricht ab, wenn die Einträge des Manifests oder der festgelegte Manifest-Hash abweichen. Es nimmt keine Änderungen beim Anbieter vor und führt keinen heruntergeladenen Code aus.

Führe `python3 render-assets.py` aus, um die beiden ursprünglichen SVG-Abbildungen erneut zu erzeugen. Die Erstellung der Abbildungen verwendet ReportLab; die veröffentlichten Masterdateien wurden mit ReportLab 4.4.9 und Python 3.12.14 gerendert. Die Verteilungsabbildung liest die Analyseergebnisse direkt. Die zweite Abbildung ist ein von den Autoren erstelltes Diagramm der Konfigurationsdokumentation und enthält keine empirischen Daten. Beide SVGs behalten Text, zugängliche Titel und Beschreibungen.

Der zugrunde liegende Benchmark verwendet die [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Die Urheberrechte am Quellmaterial verbleiben bei den jeweiligen Autoren. Dieses Paket enthält Sapien1s ausgewählte sachliche Extraktion und eigene Analyse; es gewährt keine Rechte an Aufgabenmaterialien Dritter oder Containerinhalten.
