# Inventarisatie van resource-instellingen in Terminal-Bench

Aangemaakt: 2026-11-17
Bijgewerkt: 2026-11-17

## Vraag en populatie

Welke taakspecifieke opgegeven waarden zou één vooraf ingestelde sandboxconfiguratie veranderen in Terminal-Bench v4.1.0? Dit onderzoek vergelijkt gepubliceerde instellingen zodat evaluatieteams een omgevingsconfiguratie kunnen kiezen en vastleggen. Het schat geen werkelijk resourcegebruik, minimale hardware, prijs, voltooiingstijd, modelprestaties of faalkans.

De populatie bestaat uit alle 66 onderdelen van het officiële uitgavemanifest van v4.1.0, niet uit elk taakachtig bestand in de repository. De uitgave is gepubliceerd op 3 november 2026. We hebben de configuratiemetadata gelezen op 17 november 2026. De [officiële datasetkaart](https://huggingface.co/datasets/harborframework/terminal-bench) vermeldt de uitgave en het bijbehorende [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). De bronrepository is vastgezet op commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` in `harbor-framework/terminal-bench`.

De SHA-256 van het manifest is `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Elke waarneming bevat een vastgezette bron-URL en de SHA-256 van de volledige bron `task.toml`. Oudere taken, CI-testbestanden en sjablonen buiten het uitgavemanifest zijn uitgesloten. Er is geen taak, container, model of verificatiescript uitgevoerd.

## Extractie

De eenheid is één taak uit het manifest. De collector verwerkt TOML met de standaardbibliotheek van Python en legt expliciete waarden op het hoogste omgevingsniveau vast voor CPU, geheugen, opslag, GPU, GPU-type, TPU en buildtime-out. Weggelaten velden blijven als weggelaten bewaard. Time-outwaarden voor agent en verifier blijven gescheiden. De numerieke waarden `1200` en `1200.0` zijn gelijkwaardig in de samenvattende tellingen; de bronwaarnemingen behouden hun geparste typen.

De aanwezigheid van een verifier-omgevingsblok wordt afzonderlijk vastgelegd van de aanwezigheid van resourcevelden. De collector bewaart ook schema_version, de oudere version op het hoogste niveau en de taakversie afzonderlijk; hij markeert oudere aliassen voor resources, stappen en aanvullende omgevingsblokken. In deze uitgave zijn geen oudere resourcealiassen of stappen gevonden. 6 taken hebben expliciete verifier-omgevingsblokken. De volledige waarnemingen behouden geselecteerde velden uit deze blokken; de belangrijkste CPU- en RAM-verdelingen betreffen alleen de omgeving van de taak op het hoogste niveau.

De 66 TOML-bronbestanden zijn samen 85.966 bytes groot. De gepubliceerde extractie bevat geselecteerde configuratiegegevens, veldnamen, taakidentificaties en bronhashes. Taakinstructies, oplossingen, tests, contactgegevens van auteurs en waarden van omgevingsvariabelen zijn uitgesloten. Volledige bronbestanden en benchmarkimages worden niet opnieuw verspreid in dit pakket.

## Samengestelde vergelijking

Voor elk van CPU, geheugen, opslag en GPU-aantal hebben we de meest voorkomende expliciete waarde geselecteerd in de 66 omgevingsdeclaraties op het hoogste niveau: 2 CPU's, 4.096 MB geheugen, 10.240 MB opslag en 0 GPU's. Door die waarden te combineren ontstaat onze vergelijkingsconfiguratie. Dit is geen standaardinstelling van Harbor, aanbeveling van een leverancier of waargenomen evaluatieconfiguratie.

Een taak komt in de groep ‘boven de vergelijkingsconfiguratie’ als ten minste één expliciet aanwezige numerieke waarde hoger is dan de bijbehorende waarde in de configuratie. We nemen de vereniging van taakidentificaties, niet de som van de aantallen per veld. Ontbrekende GPU-waarden tellen niet als nul en vormen ook geen positieve uitzondering. De 8 taken met een weggelaten GPU-aantal blijven herkenbaar in de brondata. De vereniging van 38 taken meet een verschil in declaraties; ze voorspelt niet of de taak onder een bepaalde configuratie kan worden uitgevoerd of slagen.

We tellen ook afzonderlijke declaratiepatronen voor CPU, geheugen, opslag, GPU-aantal, GPU-type en TPU, zonder time-outs. Het ruwe aantal patronen is 27. Als weggelaten GPU-aantallen op nul worden gezet, daalt dat aantal tot 22. Vanwege deze gevoeligheid begint het artikel met afzonderlijke resourcevelden en een transparante vergelijking, in plaats van het aantal patronen te presenteren als een aantal hardwarevereisten.

## Interpretatie door de runner

We hebben de broncode van Harbor bij commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` beoordeeld; de projectmetadata vermelden versie 0.26.0. Dit zijn bevindingen op basis van codelezing, geen uitgevoerde validatie van alle taken of backends.

- De [taakparser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) laat CPU-, geheugen-, opslag- en GPU-aantallen leeg wanneer ze ontbreken en migreert oudere geheugen- en opslagstrings. Het veld voor de schemaversie is een string; het versiemigratiepad bewijst op zichzelf niet dat elke taak kan worden uitgevoerd.
- De [basisomgeving](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) past overschrijvingen voor de trial toe. Een weggelaten GPU-aantal wordt daar nul; beleid dat CPU of geheugen negeert kan de waarden buiten toepassing laten. We behouden weglatingen in de dataset, ook wanneer deze runner er een waarde aan toekent.
- De [verifier-resolver](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) gebruikt een opgegeven verifier-omgeving als geheel; anders kopieert deze de taakomgeving. Een expliciet verifier-blok wordt niet veld voor veld samengevoegd met agentinstellingen. Bij het [aanmaken van een trial](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) worden omgevingsoverschrijvingen nog steeds doorgegeven.
- De [Docker-adapter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) vertaalt het CPU- en geheugenbeleid ‘auto’ naar limieten en negeert expliciet de selectie van het GPU-type. De [Compose-schrijver voor resources](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) schrijft beperkingen voor CPU, geheugen en GPU-aantal, maar geen opslaglimiet. Bestaande Compose-configuraties en andere providers kunnen zich anders gedragen.
- De [bepaling van time-outs](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) en [berekening van budgetten](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) staan overschrijvingen, maxima en vermenigvuldigingsfactoren toe. Opgegeven time-outs voor agent, verifier en build zijn geen waargenomen looptijden. Hun som wordt niet gepresenteerd als een bovengrens voor de totale duur van een trial.

De inventarisatie onderzoekt niet elke Dockerfile, Compose-sidecar, image of externe dienst. Die kunnen aanvullende resourcevereisten en beperkingen buiten de configuratievelden op het hoogste niveau opleveren. Uit dit onderzoek volgt geen conclusie over de validiteit van de benchmark of veranderingen in scores.

## Reproduceren

Voer met Python 3.11 of later `python3 census.py` uit om `census-results.json` opnieuw te genereren uit de meegeleverde `census.json`. Voer `python3 census.py --collect` uit om het vastgezette manifest en alle 66 vastgezette TOML-bestanden vóór de analyse opnieuw op te halen. De collector leest maximaal 3 bestanden tegelijk, beperkt het manifest tot 300 KB en elke taak tot 100 KB, en stopt met een fout als de inhoud van het manifest of de hash van het vastgezette manifest afwijkt. Hij brengt geen wijzigingen aan bij aanbieders en voert geen gedownloade code uit.

Voer `python3 render-assets.py` uit om de 2 oorspronkelijke SVG-figuren opnieuw te genereren. Voor het genereren van de figuren wordt ReportLab gebruikt; de gepubliceerde masterbestanden zijn gerenderd met ReportLab 4.4.9 en Python 3.12.14. De verdelingsfiguur leest de analyseresultaten rechtstreeks. De tweede figuur is een door de auteurs gemaakt diagram van het configuratierecord, geen empirische data. Beide SVG's behouden tekst, toegankelijke titels en beschrijvingen.

De bronbenchmark gebruikt de [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Het auteursrecht op de bronnen blijft bij de auteurs. Dit pakket bevat een selectie van feitelijke gegevens en een oorspronkelijke analyse van Sapien1; het verleent geen rechten op taakbestanden of containerinhoud van derden.
