# Kartlegging av ressursinnstillinger i Terminal-Bench

Opprettet: 2026-11-17
Oppdatert: 2026-11-17

## Spørsmål og populasjon

Hvilke oppgavespesifikke deklarasjoner ville ett forhåndsdefinert sandkasseoppsett endre i Terminal-Bench v4.1.0? Studien sammenligner publiserte innstillinger slik at evalueringsteam kan velge og dokumentere en miljøkonfigurasjon. Den anslår ikke faktisk ressursbruk, minimumskrav til maskinvare, pris, fullføringstid, modellytelse eller sannsynlighet for feil.

Populasjonen er alle 66 oppgavene i det offisielle utgivelsesmanifestet for v4.1.0, ikke alle oppgavelignende filer i kildekodelageret. Utgivelsen ble publisert 3. november 2026. Vi leste konfigurasjonsmetadata 17. november 2026. Det [offisielle datasettkortet](https://huggingface.co/datasets/harborframework/terminal-bench) angir utgivelsen og dens [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Kildekodelageret er låst til commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` i `harbor-framework/terminal-bench`.

Manifestets SHA-256 er `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Hver observasjon inneholder en låst kilde-URL og SHA-256 for den fullstendige kildefilen `task.toml`. Eldre oppgaver, CI-testoppsett og maler utenfor utgivelsesmanifestet er utelatt. Ingen oppgaver, containere, modeller eller verifikasjonsskript ble kjørt.

## Uttrekk

Enheten er én oppgave i manifestet. Innsamlingsprogrammet parser TOML med Pythons standardbibliotek og registrerer eksplisitte verdier på øverste nivå i miljøet for CPU, minne, lagring, GPU, GPU-type, TPU og tidsgrense for bygging. Felter som er utelatt, beholdes som utelatt. Tidsgrensene for agent og verifikator holdes atskilt. De numeriske verdiene `1200` og `1200.0` regnes som like i oppsummerte antall; kildeobservasjonene bevarer de parsede typene.

Det registreres separat om en blokk for verifikatormiljø finnes, og om ressursfelter finnes. Innsamlingsprogrammet beholder også schema_version, eldre version på øverste nivå og oppgavens version hver for seg; det markerer eldre ressursaliaser, steg og ytterligere miljøblokker. Ingen eldre ressursaliaser eller steg ble funnet i denne utgivelsen. 6 oppgaver har eksplisitte blokker for verifikatormiljø. De fullstendige observasjonene beholder utvalgte felter fra disse blokkene; hovedfordelingene for CPU og RAM gjelder bare oppgavens miljø på øverste nivå.

De 66 TOML-kildefilene utgjør til sammen 85 966 byte. Det publiserte uttrekket inneholder utvalgte konfigurasjonsopplysninger, feltnavn, oppgaveidentifikatorer og kildehasher. Det utelater oppgaveinstruksjoner, løsninger, tester, forfatternes kontaktinformasjon og verdier for miljøvariabler. Fullstendige kildefiler og benchmark-avbildninger videreformidles ikke i denne pakken.

## Konstruert sammenligning

For hver av kategoriene CPU, minne, lagring og antall GPU-er valgte vi den eksplisitte verdien som forekom oftest i de 66 miljødeklarasjonene på øverste nivå: 2 CPU-er, 4 096 MB minne, 10 240 MB lagring og 0 GPU-er. Til sammen utgjør disse verdiene sammenligningsoppsettet vårt. Det er ikke en standardinnstilling i Harbor, en leverandøranbefaling eller et observert evalueringsoppsett.

En oppgave inngår i settet «over sammenligningsoppsettet» hvis minst én eksplisitt oppgitt numerisk verdi er større enn den tilsvarende verdien i oppsettet. Vi bruker unionen av oppgaveidentifikatorer, ikke summen av antall per felt. Manglende GPU-verdier telles verken som null eller som et positivt avvik. De 8 oppgavene der antall GPU-er er utelatt, kan fortsatt identifiseres i kildedataene. Unionen på 38 oppgaver måler en forskjell i deklarasjoner; den forutsier ikke om oppgaven kan kjøres eller bestås under noe bestemt oppsett.

Vi teller også ulike deklarasjonsmønstre på tvers av CPU, minne, lagring, antall GPU-er, GPU-type og TPU, uten tidsgrenser. Det opprinnelige antallet mønstre er 27. Hvis utelatt antall GPU-er settes til null, synker antallet til 22. På grunn av denne følsomheten begynner artikkelen med de enkelte ressursfeltene og en åpen sammenligning, fremfor å presentere antallet mønstre som et antall maskinvarekrav.

## Kjøreprogrammets tolkning

Vi gjennomgikk Harbor-kildekoden ved commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, der prosjektets metadata angir versjon 0.26.0. Dette er funn fra kodelesing, ikke en validering gjennom kjøring av alle oppgaver eller underliggende systemer.

- [Oppgaveparseren](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) tillater at antall CPU-er og GPU-er samt verdier for minne og lagring er uoppgitt og migrerer eldre tekstverdier for minne og lagring. Feltet for skjemaversjon er en tekststreng; selve migreringsløpet for versjoner fastslår ikke at alle oppgaver kan kjøres.
- [Basismiljøet](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) bruker overstyringer for prøvekjøringen. Utelatt antall GPU-er blir der til null; regler for å ignorere CPU og minne kan undertrykke verdiene. Vi beholder utelatelser i datasettet selv når dette kjøreprogrammet tilordner en verdi til en av dem.
- [Oppslaget for verifikatormiljøet](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) bruker et oppgitt verifikatormiljø som en helhet; ellers kopierer det oppgavens miljø. Det slår ikke sammen en eksplisitt verifikatorblokk med agentinnstillinger felt for felt. [Opprettelse av prøvekjøring](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) sender fortsatt videre miljøoverstyringer.
- [Docker-adapteren](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) tilordner automatiske regler for CPU og minne til grenser og ignorerer eksplisitt valg av GPU-type. [Compose-skriveren for ressurser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) skriver begrensninger for CPU, minne og antall GPU-er, men ingen lagringsgrense. Eksisterende Compose-konfigurasjon og andre leverandører kan fungere annerledes.
- [Fastsetting av tidsgrenser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) og [beregning av budsjetter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) tillater overstyringer, maksimumsverdier og multiplikatorer. Deklarerte tidsgrenser for agent, verifikator og bygging er ikke observerte varigheter. Det hevdes ikke at summen av dem er en grense for den totale varigheten av en prøvekjøring.

Kartleggingen undersøker ikke alle Dockerfile-filer, Compose-sidecontainere, avbildninger eller eksterne tjenester. Disse kan legge til ressurskrav og begrensninger utenfor konfigurasjonsfeltene på øverste nivå. Studien gir ikke grunnlag for konklusjoner om benchmarkens gyldighet eller endringer i poengsummer.

## Gjenskaping

Med Python 3.11 eller nyere kan du kjøre `python3 census.py` for å generere `census-results.json` på nytt fra den medfølgende `census.json`. Kjør `python3 census.py --collect` for å hente det fastsatte manifestet og alle 66 låste TOML-filer på nytt før analysen. Innsamlingsprogrammet bruker høyst 3 samtidige leseoperasjoner, begrenser manifestet til 300 KB og hver oppgave til 100 KB, og stopper med feil hvis manifestets innhold eller den fastsatte manifesthashen avviker. Det gjør ingen endringer hos leverandører og kjører ikke nedlastet kode.

Kjør `python3 render-assets.py` for å generere de 2 opprinnelige SVG-figurene på nytt. Figurgenereringen bruker ReportLab; de publiserte originalfilene ble rendret med ReportLab 4.4.9 og Python 3.12.14. Fordelingsfiguren leser analyseresultatene direkte. Den andre figuren er et diagram forfatteren har laget av konfigurasjonsregistreringen, ikke empiriske data. Begge SVG-filene beholder tekst, tilgjengelige titler og beskrivelser.

Kildebenchmarken bruker [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Opphavsretten til kildene tilhører forfatterne. Denne pakken er Sapien1s utvalgte faktiske uttrekk og opprinnelige analyse; den gir ingen rettigheter til tredjeparts oppgaveressurser eller containerinnhold.
