# Die Ressourceneinstellungen von 66 Terminal-Bench-Aufgaben

Terminal-Bench v4.1.0 deklariert für seine 66 Aufgaben unterschiedliche Ressourceneinstellungen. Bei der Auswertung der Konfigurationsdateien geben 31 Aufgaben mehr als 4.096 MB Arbeitsspeicher an und 22 mehr als zwei CPUs. Wir haben aus den häufigsten ausdrücklich angegebenen Werten für CPU, Arbeitsspeicher, Speicherplatz und GPU eine Vergleichskonfiguration erstellt. Sie liegt bei 38 Aufgaben unter mindestens einer deklarierten Angabe. Aus diesen Unterschieden lässt sich ableiten, welche Einstellungen bei der Einrichtung isolierter Evaluationsumgebungen erhalten oder dokumentiert werden sollten. Der Ressourcenverbrauch und mögliche Fehler einer Aufgabe lassen sich daraus nicht vorhersagen.

Welche Bedingungen bleiben erhalten, wenn du denselben Benchmark in einer neuen Umgebung ausführst? Das hängt von der Aufgabenversion, der Version des Runners, den überschreibenden Optionen und den Regeln des Backends ab.

## Die Version umfasst Aufgaben mit unterschiedlich hohen Ressourcenangaben

Wir haben alle Aufgaben im offiziellen Manifest von Terminal-Bench v4.1.0 geprüft, das am 3. November 2026 veröffentlicht wurde. Die Auswertung umfasst alle 66 Aufgaben dieser Version, jeweils mit ihrer Datei `task.toml` an einem festgehaltenen Commit. Im Repository liegen außerdem ältere Aufgaben und Testdateien, die nicht zur untersuchten Version gehören. [Offizielle Version und Manifest](https://huggingface.co/datasets/harborframework/terminal-bench)

Die Angaben für die Hauptumgebung reichen von 2 bis 16 CPUs und von 4.096 bis 32.768 MB Arbeitsspeicher. Zwei CPUs sind mit 44 Aufgaben die häufigste Angabe. Beim Arbeitsspeicher sind 4.096 MB mit 35 Aufgaben am häufigsten. Die übrigen Aufgaben verteilen sich auf höhere Werte.

![Häufigkeit der ausdrücklich angegebenen CPU- und Arbeitsspeicherwerte über alle 66 Aufgaben. 2 CPUs bei 44 Aufgaben, 4 bei 14, 8 bei 6 und 16 bei 2. Beim Arbeitsspeicher sind es 4.096 MB bei 35 Aufgaben, 8.192 MB bei 22, 16.384 MB bei 8 und 32.768 MB bei einer.](https://sapien1.com/research/terminal-bench-resource-settings/figures/de/resource-distribution.svg)

Beide Teile der Abbildung decken dieselben 66 Aufgabenumgebungen ab. Die Werte stammen aus den Konfigurationsdateien dieser Version. Die [vollständigen Daten](https://sapien1.com/research/terminal-bench-resource-settings/census.json) enthalten für jede Aufgabe eine auf den Commit festgelegte URL und den Hash der Quelldatei.

Das ist wichtig, wenn ein Team seine Infrastruktur vereinheitlicht. Eine einheitliche Umgebung kann die Planung erleichtern, ändert aber manche deklarierten Bedingungen, wenn der Runner die aufgabenspezifischen Einstellungen darin nicht anwendet. Mehr verfügbare Hardware erhält auch eine kleinere deklarierte Grenze nicht automatisch. Für den Vergleich zählt, welche Regeln der Runner und das Backend tatsächlich anwenden.

## Eine Kombination häufiger Werte verändert viele deklarierte Einstellungen

Für die Vergleichskonfiguration haben wir die häufigste ausdrückliche Angabe aus jedem der vier Felder zusammengeführt.

| Feld | Wert in der Vergleichskonfiguration |
| --- | ---: |
| CPUs | 2 |
| Arbeitsspeicher | 4.096 MB |
| Speicherplatz | 10.240 MB |
| GPUs | 0 |

Wir haben diese Kombination für die Auswertung gebildet. Sie ist weder eine Harbor-Voreinstellung noch eine Anbieterempfehlung oder eine beobachtete Bereitstellung. Jeder Wert ist für sich häufig. Wie oft die vollständige Kombination vorkommt, kann davon abweichen.

Für jede Aufgabe haben wir geprüft, ob mindestens eine ausdrücklich deklarierte Angabe größer als der zugehörige Vergleichswert war. Das traf auf **38 von 66 Aufgaben** zu. Den CPU-Wert überschritten 22 Aufgaben, den Arbeitsspeicherwert 31, den Speicherplatzwert 17 und die GPU-Anzahl drei. Die Gruppen überschneiden sich. Eine Addition würde Aufgaben mehrfach zählen. In den [Vergleichsergebnissen](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) stehen die genauen Aufgaben-IDs für die Gesamtmenge und jedes einzelne Feld.

Bei den übrigen 28 Aufgaben liegt keine aufgezeichnete Angabe über diesen vier Vergleichswerten. Das belegt ihre Kompatibilität mit der Vergleichskonfiguration nicht. Acht Aufgaben lassen die GPU-Anzahl offen. Die Auswertung führt diese Fälle als fehlende Angabe. Dateien, Begleitcontainer, Images und Dienste können weitere Anforderungen mitbringen, die diese vier Felder nicht abbilden.

Für Läufe ohne GPU stellen die Verantwortlichen mit Terminal-Bench 4.1.0 einen [separaten CPU-Datensatz mit 63 Aufgaben](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only) bereit. Starte ihn mit `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` und weise die Ergebnisse getrennt von den Scores der vollständigen Version mit 66 Aufgaben aus. Die Aufnahme in diesen Datensatz zeigt für sich genommen nicht, ob eine Aufgabe eine bestimmte CPU-, Arbeitsspeicher- oder Speicherplatzgrenze einhält.

Nutze die Ausnahmeliste, um vor einem Lauf zu prüfen, welche Einstellungen eine standardisierte Umgebung ändern würde.

## Vom Aufgabenwert über den Runner zum Backend

Eine Aufgabendatei beschreibt einen Teil der Evaluationskonfiguration. Um die Verarbeitung der Angaben nachzuvollziehen, haben wir Harbor an einem festen Commit geprüft, dessen [Paketmetadaten die Version 0.26.0 ausweisen](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

Im untersuchten Code können Einstellungen für den einzelnen Versuch die Ressourcenwerte der Aufgabe überschreiben. Richtlinien für CPU und Arbeitsspeicher können bestimmen, ob die Werte angewendet oder ignoriert werden. Der Parser kann fehlende CPU-, Arbeitsspeicher- und Speicherplatzwerte als nicht gesetzt belassen. Die Basisumgebung behandelt eine fehlende GPU-Anzahl als effektive Null. Die Auswertung hält fehlende Originalangaben fest, damit sich die verfasste Einstellung von der Auslegung durch den Runner unterscheiden lässt. [Umgebungslogik von Harbor am geprüften Commit](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

Auch das Backend beeinflusst das Ergebnis. Der untersuchte Docker-Adapter setzt seine automatischen Richtlinien für CPU und Arbeitsspeicher als Limits um. Er [ignoriert die Auswahl des GPU-Typs ausdrücklich](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272). Die Funktion, die Compose-Ressourcen schreibt, trägt kein Speicherplatzlimit ein. Drei Aufgaben nennen ausdrücklich eine H100. Allein daraus folgt nicht, dass Docker eine H100 zuweist. Ebenso belegt eine Angabe in `storage_mb` für sich kein Festplattenlimit in Docker. Eine vorhandene Compose-Konfiguration kann zusätzliche Grenzen setzen. Andere Backends können die Angaben anders behandeln. [Docker-Adapter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [Erzeugung der Compose-Ressourcen](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

Damit sich die Evaluation nachvollziehen lässt, bewahre die Deklaration auf und halte fest, wie das gewählte Backend sie umgesetzt hat. Die angefragte Konfiguration und die tatsächliche Zuteilung beantworten unterschiedliche Fragen.

![Vier Ebenen für die Dokumentation einer Evaluation. Aufgabendeklaration an einem festen Commit, Runner-Version und überschreibende Optionen, Ressourcenrichtlinie des Backends und beobachtete Zuteilung, sofern feststellbar.](https://sapien1.com/research/terminal-bench-resource-settings/figures/de/evaluation-record.svg)

Halte angefragte Einstellungen und beobachtete Zuteilungen in getrennten Feldern fest.

## Zeitlimits für den Agenten und Einstellungen des Verifiers getrennt erfassen

In allen 66 Aufgabendateien steht ein Zeitlimit von 28.800 Sekunden für den Agenten, also acht Stunden. Das ist eine konfigurierte Obergrenze. Die deklarierten Verifier-Zeitlimits reichen von 60 bis 18.000 Sekunden und die Build-Zeitlimits von 300 bis 18.000 Sekunden. Erfasse diese Phasen getrennt, wenn du eine Laufzeit abschätzt.

Der untersuchte Runner kann Zeitlimits überschreiben und Maximalwerte sowie Multiplikatoren anwenden. Die geprüfte Funktion wendet zuerst den Maximalwert und dann den Multiplikator an. Für die Analyse haben wir die Phasengrenzen nicht addiert, um die verstrichene Gesamtzeit vorherzusagen. [Auflösung der Zeitlimits am geprüften Commit](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [Berechnung des Zeitbudgets je Phase](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

Mit den Regeln aus der untersuchten Harbor-Version haben wir die Verifier-Zeitlimits für alle 66 Aufgaben in Terminal-Bench v4.1.0 berechnet. Wir haben einen Maximalwert von 600 Sekunden und das Überschreiben auf 600 Sekunden getrennt getestet. Der Multiplikator war jeweils 1. Das höchste berechnete Zeitlimit lag in beiden Fällen bei 600 Sekunden. Der Maximalwert ließ die 28 kürzeren Zeitlimits bestehen. Beim Überschreiben stiegen alle 28 auf 600 Sekunden. Wenn du in dieser Konfiguration die kürzeren Zeitlimits behalten willst, verwende den Maximalwert und halte die verwendete Einstellung fest. [So wählt Harbor das anfängliche Zeitlimit](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [So wendet Harbor Maximalwert und Multiplikator an](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

Das Zeitlimit des übergeordneten Jobs kann einen lokal laufenden Agenten stoppen, bevor sein eigenes Zeitlimit erreicht ist. Hat der Agent für eine Aufgabe zum Beispiel acht Stunden Zeit, kann er diese in einem [von GitHub gehosteten Job](https://docs.github.com/en/actions/reference/limits) mit einem Zeitlimit von sechs Stunden nicht voll ausschöpfen. Auch die Vorbereitung innerhalb desselben Jobs beansprucht einen Teil der verfügbaren Zeit. Erfasse das Zeitlimit des Jobs und das des Agenten getrennt.

Alle Aufgaben wählen ausdrücklich eine getrennte Verifikation. Sechs definieren dafür einen eigenen Umgebungsblock. Die untersuchte Harbor-Funktion übernimmt einen ausdrücklich angegebenen Verifier-Block als Ganzes, ohne seine Felder mit denen der Aufgabenumgebung zusammenzuführen. Ohne eigenen Block kopiert sie die Aufgabenumgebung. Optionen für einen einzelnen Versuch können die effektive Verifier-Konfiguration weiterhin ändern. [Auflösung der Verifier-Konfiguration](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

Dokumentiere die Einstellungen für Agent und Verifier getrennt, auch wenn sie übereinstimmen. Die Auswahl der getrennten Verifikation sagt für sich weder etwas über die tatsächliche Zuteilung noch über eine gleichzeitige Ressourcennutzung beider Umgebungen aus.

Für die 66 Aufgaben mit übereinstimmenden Namen und Pfaden haben wir ausgewählte Angaben zu CPU, Arbeitsspeicher, Speicherplatz, GPU, Zeitlimits und Verifikationsmodus in Terminal-Bench 4.0 und 4.1 verglichen. Der [Vergleich](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) fand zwei Aufgaben mit Änderungen in diesen Feldern. Bei `distributed-dedup` stieg das Verifier-Zeitlimit von 1.800 auf 3.900 Sekunden. Bei `payments-pipeline-fix` stiegen die ausdrücklichen Verifier-Angaben von 6 CPUs und 12.288 MB auf 8 CPUs und 16.384 MB. Das sind deklarierte Werte. Die [Versionshinweise zu 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) nennen Änderungen an allen 66 Aufgaben. Dieser enge Konfigurationsvergleich lässt offen, ob Anweisungen, Images und Verifier gleichwertig sind.

Lade [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) und [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) in denselben Ordner herunter. Führe dort mit Python 3.11 oder neuer und einer Internetverbindung `python3 compare-versions.py > comparison.json` aus. Das Skript ruft die festgehaltene Registry der Version 4.0 und Aufgabenmetadaten ab, ohne die Aufgaben auszuführen. Der lokale Bericht enthält die Quellenangabe und die Bitte des Projekts, die Benchmark-Daten aus Trainingskorpora herauszuhalten.

## Welche Angaben du bei einer Änderung der Evaluationskonfiguration behalten solltest

Aus der Auswertung ergibt sich ein kurzer Konfigurationsnachweis.

1. **Halte den Aufgabensatz fest.** Bewahre Versionsmanifest, Quell-Commit und Aufgabenpfade zusammen auf. Die Anzahl aller Dateien im Repository kann Material außerhalb der Benchmark-Version umfassen.
2. **Bewahre die ursprünglichen Deklarationen auf.** Notiere ausdrückliche Werte und fehlende Angaben, einschließlich separater Verifier-Einstellungen und der Zeitlimits pro Phase.
3. **Dokumentiere den Runner und seine Optionen.** Speichere die genaue Version oder den Commit sowie die Optionen, die Aufgabeneinstellungen überschreiben oder skalieren.
4. **Prüfe die Regeln des Backends.** Ermittle, welche Felder es als Limits, Reservierungen, Standardwerte oder nicht unterstützte Anforderungen behandelt.
5. **Halte die zugeteilten Ressourcen fest, wenn sie beobachtbar sind.** Erfasse sie getrennt von der angefragten Konfiguration und vom gemessenen Verbrauch während des Laufs.

Wenn du ein Limit oder eine Zuteilung absichtlich änderst, dokumentiere das zusammen mit dem Ergebnis. So können spätere Leser die Bedingungen der Evaluation nachvollziehen und Umgebungsunterschiede beim Vergleich berücksichtigen.

Der [Konfigurationsvergleich](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) und der [Analysecode](https://sapien1.com/research/terminal-bench-resource-settings/census.py) machen die Ausnahmen nachvollziehbar. sapien1 prüft Aufgaben und Umgebungen auf diese Weise, wenn der Umfang eines Projekts zur [Agentenevaluation](https://sapien1.com/de/agent-evaluation) festgelegt wird.

Lade für andere Obergrenzen den [Ressourcenfilter](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) und die [Auswertungsdaten](https://sapien1.com/research/terminal-bench-resource-settings/census.json) in denselben Ordner herunter. `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` listet zum Beispiel Aufgaben auf, deren Deklarationen sowohl für die Aufgabe als auch für den Verifier innerhalb der angegebenen Grenzen liegen. Die Ausgabe erhält fehlende Angaben und belegt für sich nicht, dass eine Aufgabe läuft. Terminal-Bench bittet darum, Benchmark-Daten aus Trainingskorpora herauszuhalten.

### Vergleiche die Aufgaben unter den beiden Ressourcenobergrenzen

Unter jeder der beiden Beispielobergrenzen für Ressourcen werden 44 der 66 Aufgaben aus Terminal-Bench v4.1.0 ausgewählt. Die Listen haben 36 Aufgaben gemeinsam und enthalten jeweils 8 Aufgaben, die nur in dieser Liste stehen. Der Filter prüft die deklarierten Werte für CPUs, Arbeitsspeicher und Speicherplatz für jede Obergrenze getrennt in der Aufgaben- und in der Prüfumgebung.

| CPUs | Arbeitsspeicher (MB) | Speicherplatz (MB) | Aufgaben, die alle drei Obergrenzen einhalten |
| ---: | ---: | ---: | ---: |
| 4 | 8.192 | 10.240 | 44 |
| 2 | 16.384 | 20.480 | 44 |

Führe beide Befehle in dem Ordner aus, in dem der Filter und die Bestandsaufnahme liegen. In jedem Bericht stehen die ausgewählten Aufgaben-IDs in den Feldern `task` unter `records`.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

Wenn du einen Score angibst, speichere die genauen Aufgaben-IDs zusammen mit der Benchmark-Version und den Ressourceneinstellungen. Wenn du zwei Läufe anhand ihrer gemeinsamen Aufgaben vergleichst, berechne beide Scores über dieselbe Liste.

## Methode und Untersuchungsumfang

Die vollständige Auswertung der Konfigurationsdeklarationen einer Version wurde am 17. November 2026 abgeschlossen. Sie erfasst diese Deklarationen und misst keine Leistung. Der Quell-Commit des Terminal-Bench-Datensatzes ist `4070d6c`. Der geprüfte Harbor-Commit ist `ec6aeab`, in den Projektmetadaten als Version 0.26.0 ausgewiesen. Die [Methodik](https://sapien1.com/de/research/terminal-bench-resource-settings/methods.md) enthält die vollständigen Hashes, Quelllinks, Extraktionsregeln und Befehle zur Wiederholung der Auswertung.

Das Erhebungsskript liest das offizielle Manifest und 66 TOML-Dateien mit insgesamt 85.966 Quellbytes. Es speichert Versionsfelder separat und prüft auf ältere Ressourcen-Aliasse, Schritte und zusätzliche Umgebungsblöcke. In dieser Version fand es weder Schritte noch ältere Ressourcen-Aliasse. Die öffentlichen Downloads enthalten ausgewählte Konfigurationswerte und Quell-Hashes. Aufgabenanweisungen, Lösungen und vollständige Umgebungen sind ausgenommen.

Wir haben die Manifestzugehörigkeit, Berechnungen und Quellstichproben unabhängig geprüft. Darunter waren ein Ausreißer, eine ausgelassene GPU-Angabe und ein ausdrücklich definierter Verifier-Block. Wir haben weder ein Modell noch einen Container noch eine Benchmark-Aufgabe ausgeführt.

