# Kortlægning af ressourceindstillinger i Terminal-Bench

Oprettet: 2026-11-17
Opdateret: 2026-11-17

## Spørgsmål og population

Hvilke opgavespecifikke angivelser ville én fælles forudindstillet sandbox-konfiguration ændre i Terminal-Bench v4.1.0? Denne undersøgelse sammenligner offentliggjorte indstillinger, så evalueringsteams kan vælge og dokumentere en miljøkonfiguration. Den estimerer ikke faktisk ressourceforbrug, minimumskrav til hardware, pris, gennemførelsestid, modellens ydeevne eller sandsynlighed for fejl.

Populationen omfatter alle 66 medlemmer af det officielle udgivelsesmanifest for v4.1.0, ikke alle opgavelignende filer i repositoryet. Udgivelsen blev offentliggjort den 3. november 2026. Vi læste konfigurationernes metadata den 17. november 2026. Det [officielle datasætkort](https://huggingface.co/datasets/harborframework/terminal-bench) identificerer udgivelsen og dens [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Kilderepositoryet er fastlåst til commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` i `harbor-framework/terminal-bench`.

Manifestets SHA-256 er `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Hver observation indeholder en fastlåst kilde-URL og SHA-256 for den komplette kilde `task.toml`. Ældre opgaver, CI-fixtures og skabeloner uden for udgivelsesmanifestet er udeladt. Ingen opgave, container, model eller noget verificeringsscript blev kørt.

## Udtræk

Enheden er én opgave i manifestet. Indsamleren fortolker TOML med Pythons standardbibliotek og registrerer eksplicitte værdier på miljøets øverste niveau for CPU, hukommelse, lagerplads, GPU, GPU-type, TPU og tidsgrænse for build. Den bevarer udeladte felter som udeladte. Tidsgrænser for agent og verifikator holdes adskilt. De numeriske værdier `1200` og `1200.0` betragtes som ens i de opsummerede optællinger; kildeobservationerne bevarer deres fortolkede typer.

Tilstedeværelsen af en blok for verifikatorens miljø registreres særskilt fra tilstedeværelsen af ressourcefelter. Indsamleren bevarer også schema_version, ældre version på øverste niveau og opgavens version hver for sig; den markerer ældre ressourcealiaser, trin og yderligere miljøblokke. Der blev ikke fundet ældre ressourcealiaser eller trin i denne udgivelse. 6 opgaver har eksplicitte blokke for verifikatorens miljø. De fulde observationer bevarer udvalgte felter fra disse blokke; de primære CPU- og RAM-fordelinger vedrører kun opgavens miljø på øverste niveau.

De 66 TOML-kildefiler udgør i alt 85.966 bytes. Det offentliggjorte udtræk indeholder udvalgte konfigurationsoplysninger, feltnavne, opgaveidentifikatorer og kildehashes. Det udelader opgaveinstruktioner, løsninger, tests, forfatternes kontaktoplysninger og værdier for miljøvariabler. Komplette kildefiler og benchmark-images videredistribueres ikke i denne pakke.

## Konstrueret sammenligning

For hver af CPU, hukommelse, lagerplads og antal GPU'er valgte vi den hyppigste eksplicitte værdi i de 66 miljøangivelser på øverste niveau: 2 CPU'er, 4.096 MB hukommelse, 10.240 MB lagerplads og 0 GPU'er. Kombinationen af disse værdier udgør vores sammenligningskonfiguration. Den er ikke en standardindstilling i Harbor, en leverandøranbefaling eller en observeret evalueringsopsætning.

En opgave indgår i gruppen ”over sammenligningskonfigurationen”, hvis mindst én eksplicit angivet numerisk værdi er større end den tilsvarende værdi i konfigurationen. Vi bruger foreningsmængden af opgaveidentifikatorer, ikke summen af antal for de enkelte felter. Manglende GPU-værdier tæller hverken som nul eller som en værdi over sammenligningskonfigurationen. De 8 opgaver, hvor antal GPU'er er udeladt, kan fortsat identificeres i kildedataene. Foreningsmængden på 38 opgaver måler en forskel i angivelserne; den forudsiger ikke, om opgaven kan køre eller bestå under nogen bestemt konfiguration.

Vi tæller også forskellige angivelsesmønstre på tværs af CPU, hukommelse, lagerplads, antal GPU'er, GPU-type og TPU, uden tidsgrænser. Det rå antal mønstre er 27. Hvis udeladt antal GPU'er sættes til nul, falder antallet til 22. Denne følsomhed er grunden til, at artiklen fremhæver de enkelte ressourcefelter og en gennemsigtig sammenligning frem for at præsentere antallet af mønstre som et antal hardwarekrav.

## Kørselsprogrammets fortolkning

Vi gennemgik Harbor-kildekoden ved commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, hvis projektmetadata angiver version 0.26.0. Resultaterne bygger på læsning af kode, ikke på en udført validering af alle opgaver eller bagvedliggende systemer.

- [Opgaveparseren](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) tillader, at CPU, hukommelse, lagerplads og antal GPU'er er null, og migrerer ældre strenge for hukommelse og lagerplads. Feltet for skemaversion er en streng; versionsmigreringen fastslår ikke i sig selv, at alle opgaver kan køres.
- [Basismiljøet](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) anvender tilsidesættelser for forsøget. Et udeladt antal GPU'er bliver her til nul; politikker, der ignorerer CPU eller hukommelse, kan undertrykke værdierne. Vi bevarer udeladelser i datasættet, selv når dette kørselsprogram omsætter en udeladelse til en værdi.
- [Verifikatorens miljøopløser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) bruger et angivet verifikatormiljø som en helhed; ellers kopierer den opgavens miljø. Den fletter ikke en eksplicit verifikatorblok sammen med agentens indstillinger felt for felt. Ved [oprettelse af forsøget](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) overføres tilsidesættelser af miljøet fortsat.
- [Docker-adapteren](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) omsætter automatiske CPU- og hukommelsespolitikker til grænser og ignorerer udtrykkeligt valg af GPU-type. Dens [funktion til at skrive Compose-ressourcer](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) skriver begrænsninger for CPU, hukommelse og antal GPU'er, men ikke en grænse for lagerplads. Eksisterende Compose-konfiguration og andre udbydere kan fungere anderledes.
- [Fastlæggelse af tidsgrænser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) og [beregning af budgetter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) tillader tilsidesættelser, maksimumværdier og multiplikatorer. Angivne tidsgrænser for agent, verifikator og build er ikke observerede varigheder. Der fremsættes ingen påstand om, at summen af dem er en øvre grænse for forsøgets samlede varighed.

Kortlægningen undersøger ikke hver Dockerfile, Compose-sidecar, hvert image eller hver ekstern tjeneste. Disse kan tilføje ressourcekrav og begrænsninger, som ligger uden for konfigurationsfelterne på øverste niveau. Undersøgelsen giver ikke grundlag for en konklusion om benchmarkets gyldighed eller ændringer i resultater.

## Gentag undersøgelsen

Brug Python 3.11 eller nyere, og kør `python3 census.py` for at genskabe `census-results.json` ud fra den medfølgende `census.json`. Kør `python3 census.py --collect` for at hente det fastlåste manifest og alle 66 fastlåste TOML-filer igen før analysen. Indsamleren bruger højst 3 samtidige læsninger, begrænser manifestet til 300 KB og hver opgave til 100 KB og afbryder, hvis manifestets medlemmer eller det fastlåste manifests hash afviger. Den ændrer ikke noget hos udbyderen og kører ikke downloadet kode.

Kør `python3 render-assets.py` for at genskabe de 2 originale SVG-figurer. Genereringen af figurer bruger ReportLab; de offentliggjorte originalfiler blev renderet med ReportLab 4.4.9 og Python 3.12.14. Fordelingsfiguren læser analyseresultaterne direkte. Den anden figur er et diagram over konfigurationsregistreringen, som er oprettet af forfatterne, ikke empiriske data. Begge SVG-filer bevarer tekst, tilgængelige titler og beskrivelser.

Kildebenchmarket bruger [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Ophavsretten til kilderne tilhører deres forfattere. Denne pakke er Sapien1s udvalg af faktuelle udtræk og originale analyse; den giver ikke rettigheder til tredjeparts opgaveressourcer eller containerindhold.
