# Kartläggning av resursinställningar i Terminal-Bench

Skapad: 2026-11-17
Uppdaterad: 2026-11-17

## Fråga och population

Vilka uppgiftsspecifika deklarationer skulle en gemensam förinställning för sandlådan ändra i Terminal-Bench v4.1.0? Studien jämför publicerade inställningar så att utvärderingsteam kan välja och dokumentera en miljökonfiguration. Den uppskattar inte faktisk resursanvändning, minimikrav på hårdvara, pris, slutförandetid, modellprestanda eller sannolikhet för fel.

Populationen omfattar alla 66 uppgifter i det officiella versionsmanifestet för v4.1.0, inte alla uppgiftsliknande filer i dess repo. Versionen publicerades den 3 november 2026. Vi läste konfigurationsmetadata den 17 november 2026. Det [officiella datasetkortet](https://huggingface.co/datasets/harborframework/terminal-bench) anger versionen och dess [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Källkodens repo är låst till commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` i `harbor-framework/terminal-bench`.

Manifestets SHA-256 är `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Varje observation innehåller en låst källadress och SHA-256 för hela källfilen `task.toml`. Äldre uppgifter, CI-fixturer och mallar utanför versionsmanifestet är undantagna. Ingen uppgift, container, modell eller verifieringskod kördes.

## Extraktion

Enheten är en uppgift i manifestet. Insamlingsverktyget tolkar TOML med Pythons standardbibliotek och registrerar uttryckligen angivna värden på toppnivå för miljöns CPU, minne, lagring, GPU, GPU-typ, TPU och tidsgräns för byggning. Utelämnade fält behålls som utelämnade. Tidsgränserna för agenten och verifieraren hålls åtskilda. De numeriska värdena `1200` och `1200.0` räknas som likvärdiga i sammanställningarna; källobservationerna behåller deras tolkade typer.

Förekomsten av ett block för verifierarens miljö registreras separat från förekomsten av resursfält. Insamlingsverktyget behåller också schema_version, äldre version på toppnivå och uppgiftens version var för sig; det flaggar äldre resursalias, steg och ytterligare miljöblock. Inga äldre resursalias eller steg hittades i denna version. 6 uppgifter har uttryckliga block för verifierarens miljö. De fullständiga observationerna behåller utvalda fält från dessa block; huvudfördelningarna för CPU och RAM gäller endast uppgiftens miljö på toppnivå.

De 66 TOML-källfilerna omfattar totalt 85 966 byte. Den publicerade extraktionen innehåller utvalda konfigurationsuppgifter, fältnamn, uppgiftsidentifierare och hashvärden för källorna. Den utesluter uppgiftsinstruktioner, lösningar, tester, författarnas kontaktuppgifter och miljövariablers värden. Fullständiga källfiler och benchmark-avbilder distribueras inte vidare i detta paket.

## Konstruerad jämförelse

För vart och ett av CPU, minne, lagring och antal GPU:er valde vi det vanligaste uttryckligen angivna värdet i de 66 miljödeklarationerna på toppnivå: 2 CPU:er, 4 096 MB minne, 10 240 MB lagring och 0 GPU:er. Kombinationen av dessa värden utgör vår jämförelsekonfiguration. Den är inte en standardinställning i Harbor, en leverantörsrekommendation eller en observerad utvärderingskonfiguration.

En uppgift ingår i gruppen ”över jämförelsekonfigurationen” om minst ett uttryckligen angivet numeriskt värde är större än motsvarande värde i konfigurationen. Vi räknar unionen av uppgiftsidentifierare, inte summan av antalen per fält. Saknade GPU-värden räknas varken som noll eller som ett värde över jämförelsekonfigurationen. De 8 uppgifter där antal GPU:er har utelämnats kan fortfarande identifieras i källdata. Unionen med 38 uppgifter mäter en skillnad i deklarationer; den förutsäger inte om uppgiften kan köras eller godkännas med någon viss konfiguration.

Vi räknar också distinkta deklarationsmönster för CPU, minne, lagring, antal GPU:er, GPU-typ och TPU, exklusive tidsgränser. Det ursprungliga antalet mönster är 27. Om utelämnat antal GPU:er sätts till noll sjunker antalet till 22. På grund av denna känslighet inleder artikeln med enskilda resursfält och en transparent jämförelse, i stället för att presentera antalet mönster som ett antal hårdvarukrav.

## Körprogrammets tolkning

Vi granskade Harbors källkod vid commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, vars projektmetadata anger version 0.26.0. Detta är resultat från kodläsning, inte en validering genom körning av alla uppgifter eller backend-miljöer.

- [Uppgiftstolkaren](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) tillåter null för antal CPU:er och GPU:er samt för minne och lagring och migrerar äldre strängar för minne och lagring. Dess fält för schemaversion är en sträng; versionsmigreringen visar inte i sig att varje uppgift kan köras.
- [Basmiljön](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) tillämpar åsidosättningar för körningen. Ett utelämnat antal GPU:er blir där noll; policyer som ignorerar CPU och minne kan undertrycka värdena. Vi behåller utelämnade värden i datasetet även när körprogrammet ger ett av dem ett värde.
- [Hanteringen av verifierarens miljö](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) använder en angiven verifierarmiljö som en helhet; annars kopieras uppgiftens miljö. Ett uttryckligt verifierarblock slås inte ihop fält för fält med agentens inställningar. När [en körning skapas](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) skickas åsidosättningar av miljön fortfarande vidare.
- [Docker-adaptern](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) omvandlar automatiska CPU- och minnespolicyer till gränser och ignorerar uttryckligen val av GPU-typ. Dess [skrivare för Compose-resurser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) skriver begränsningar för CPU, minne och antal GPU:er, men ingen lagringsgräns. Befintlig Compose-konfiguration och andra leverantörer kan fungera annorlunda.
- [Hantering av tidsgränser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) och [budgetberäkning](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) tillåter åsidosättningar, maximivärden och multiplikatorer. Deklarerade tidsgränser för agent, verifierare och byggning är inte observerade tidsåtgångar. Deras summa anges inte som en gräns för körningens totala längd.

Kartläggningen granskar inte varje Dockerfile, Compose-sidocontainer, avbild eller extern tjänst. Dessa kan medföra ytterligare resurskrav och begränsningar utöver konfigurationsfälten på toppnivå. Studien ger inte stöd för några slutsatser om benchmarkens giltighet eller förändringar i poäng.

## Återskapa

Kör `python3 census.py` med Python 3.11 eller senare för att återskapa `census-results.json` från medföljande `census.json`. Kör `python3 census.py --collect` för att hämta det fasta manifestet och alla 66 låsta TOML-filer på nytt före analysen. Insamlingsverktyget använder högst 3 samtidiga läsningar, begränsar manifestet till 300 KB och varje uppgift till 100 KB samt avbryter om manifestets innehåll eller det låsta manifestets hashvärde skiljer sig. Det ändrar inget hos leverantören och kör inte nedladdad kod.

Kör `python3 render-assets.py` för att återskapa de 2 ursprungliga SVG-figurerna. Figurgenereringen använder ReportLab; de publicerade originalen renderades med ReportLab 4.4.9 och Python 3.12.14. Fördelningsfiguren läser analysresultaten direkt. Den andra figuren är ett diagram som författaren har skapat över konfigurationsunderlaget, inte empiriska data. Båda SVG-filerna behåller text, tillgängliga titlar och beskrivningar.

Källbenchmarken använder [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Upphovsrätten till källmaterialet tillhör dess författare. Detta paket är Sapien1:s urval av faktauppgifter och egen analys; det ger inga rättigheter till uppgiftsmaterial eller containerinnehåll från tredje part.
