# Sensus ng mga setting ng resource ng Terminal-Bench

Ginawa: 2026-11-17
Na-update: 2026-11-17

## Tanong at populasyon

Aling mga deklarasyong partikular sa gawain ang mababago ng isang preset para sa sandbox sa Terminal-Bench v4.1.0? Inihahambing ng pag-aaral na ito ang mga inilathalang setting upang makapili at makapagtala ang mga evaluation team ng configuration ng environment. Hindi nito tinatantiya ang aktwal na paggamit ng resource, minimum na hardware, presyo, oras ng pagkumpleto, performance ng model o posibilidad ng pagkabigo.

Ang populasyon ay ang lahat ng 66 na kasapi ng opisyal na release manifest ng v4.1.0, hindi lahat ng file na kahawig ng gawain sa repository nito. Inilathala ang release noong 3 Nobyembre 2026. Binasa namin ang configuration metadata noong 17 Nobyembre 2026. Tinutukoy ng [opisyal na dataset card](https://huggingface.co/datasets/harborframework/terminal-bench) ang release at ang [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json) nito. Naka-pin ang source repository sa commit na `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` sa `harbor-framework/terminal-bench`.

Ang SHA-256 ng manifest ay `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Bawat obserbasyon ay may naka-pin na source URL at SHA-256 ng buong source na `task.toml`. Hindi kasama ang mga legacy task, CI fixture at template sa labas ng release manifest. Walang pinatakbong gawain, container, model o verification script.

## Pagkuha ng data

Isang gawain sa manifest ang bawat unit. Pina-parse ng collector ang TOML gamit ang standard library ng Python at itinatala ang tahasang top-level na halaga ng CPU, memory, storage, GPU, uri ng GPU, TPU at build timeout ng environment. Pinananatili nitong hindi nakasaad ang mga field na wala sa source. Nananatiling magkahiwalay ang mga halaga ng timeout ng agent at verifier. Magkatumbas sa mga bilang sa buod ang numeric na `1200` at `1200.0`; pinananatili ng mga source observation ang kanilang mga na-parse na uri.

Hiwalay na itinatala ang presensya ng verifier-environment block sa presensya ng mga resource field. Hiwalay ding pinananatili ng collector ang schema_version, legacy top-level version at task version; minamarkahan nito ang mga legacy resource alias, step at karagdagang environment block. Walang nakitang legacy resource alias o step sa release na ito. May tahasang verifier-environment block ang 6 na gawain. Pinananatili ng buong mga obserbasyon ang mga piling field ng mga block na ito; ang mga pangunahing distribusyon ng CPU/RAM ay para lamang sa top-level environment ng gawain.

May kabuuang 85,966 byte ang 66 na source TOML file. Naglalaman ang inilathalang extraction ng mga piling katotohanan tungkol sa configuration, pangalan ng field, identifier ng gawain at hash ng source. Hindi kasama rito ang mga tagubilin sa gawain, solusyon, test, impormasyon sa pakikipag-ugnayan sa may-akda at mga halaga ng environment variable. Hindi muling ipinapamahagi sa package na ito ang buong source file at mga benchmark image.

## Binuong paghahambing

Para sa bawat isa sa CPU, memory, storage at bilang ng GPU, pinili namin ang pinakamadalas na tahasang halaga sa 66 na deklarasyon ng top-level environment: 2 CPU, 4,096 MB na memory, 10,240 MB na storage at 0 GPU. Ang pagsasama ng mga halagang iyon ang bumubuo sa aming preset para sa paghahambing. Hindi ito default ng Harbor, rekomendasyon ng vendor o naobserbahang setup ng evaluation.

Kasama ang isang gawain sa hanay na “mas mataas sa preset para sa paghahambing” kung hindi bababa sa isang tahasang numeric na halaga nito ang mas mataas sa katumbas na halaga ng preset. Kinukuha namin ang union ng mga identifier ng gawain, hindi ang kabuuan ng mga bilang sa bawat field. Ang mga nawawalang halaga ng GPU ay hindi binibilang bilang zero at hindi rin lumilikha ng exception na mas mataas sa preset. Nananatiling matutukoy sa source data ang 8 gawaing walang nakasaad na bilang ng GPU. Sinusukat ng union na may 38 gawain ang pagkakaiba sa mga deklarasyon; hindi nito hinuhulaan kung maaaring tumakbo o pumasa ang gawain sa anumang preset.

Binibilang din namin ang mga natatanging pattern ng deklarasyon sa CPU, memory, storage, bilang ng GPU, uri ng GPU at TPU, bukod sa mga timeout. Ang bilang ng mga orihinal na pattern ay 27. Kapag itinakda sa zero ang mga hindi isinamang bilang ng GPU, bumababa ito sa 22. Dahil sa pagkasensitibong ito, inuuna ng artikulo ang mga indibidwal na resource field at isang malinaw na paghahambing, sa halip na ipakita ang bilang ng pattern bilang bilang ng mga kinakailangan sa hardware.

## Interpretasyon ng runner

Sinuri namin ang source ng Harbor sa commit na `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, na tinutukoy ng project metadata bilang version 0.26.0. Mga natuklasan ang mga ito mula sa pagbasa ng code, hindi isinagawang validation ng lahat ng gawain o backend.

- Hinahayaang maging null ng [task parser](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) ang mga bilang ng CPU, memory, storage at GPU at inililipat nito ang mga legacy string ng memory/storage. String ang schema-version field nito; ang proseso ng version migration mismo ay hindi nagpapatunay na kayang tumakbo ang bawat gawain.
- Inilalapat ng [base environment](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) ang mga override ng trial. Doon, nagiging zero ang hindi isinamang bilang ng GPU; maaaring pigilan ng mga patakarang huwag pansinin ang CPU/memory ang paggamit sa mga halaga. Pinananatili naming nakatala sa dataset ang mga hindi isinamang halaga kahit na itinatakda ng runner na ito ang isa sa mga iyon sa isang halaga.
- Ginagamit ng [verifier resolver](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) ang isang ibinigay na verifier environment bilang kabuuan; kung wala nito, kinokopya nito ang environment ng gawain. Hindi nito pinagsasama ang tahasang verifier block at mga setting ng agent nang paisa-isang field. Ipinapasa pa rin ng [paggawa ng trial](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) ang mga override ng environment.
- Itinatakda ng [Docker adapter](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) bilang mga limitasyon ang mga awtomatikong patakaran sa CPU/memory at tahasan nitong hindi pinapansin ang pagpili ng uri ng GPU. Isinusulat ng [Compose resource writer](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) nito ang mga limitasyon sa CPU, memory at bilang ng GPU, ngunit hindi ang limitasyon sa storage. Maaaring magkaiba ang asal ng umiiral na Compose configuration at iba pang provider.
- Pinapayagan ng [pagtukoy sa timeout](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) at [pagkalkula ng budget](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) ang mga override, maximum at multiplier. Ang mga deklarasyon ng timeout ng agent, verifier at build ay hindi mga naobserbahang tagal. Hindi inaangking ang kabuuan ng mga ito ang hangganan ng kabuuang tagal ng trial.

Hindi sinusuri ng sensus ang bawat Dockerfile, Compose sidecar, image o external service. Maaari ang mga ito na magdagdag ng mga kinakailangan at limitasyon sa resource sa labas ng mga top-level configuration field. Walang konklusyon tungkol sa bisa ng benchmark o pagbabago ng score na sumusunod mula sa pag-aaral na ito.

## Muling gawin

Gamit ang Python 3.11 o mas bago, patakbuhin ang `python3 census.py` upang muling likhain ang `census-results.json` mula sa ibinigay na `census.json`. Patakbuhin ang `python3 census.py --collect` upang muling kunin ang nakapirming manifest at lahat ng 66 na naka-pin na TOML file bago ang pagsusuri. Hanggang 3 sabay-sabay na pagbasa ang ginagamit ng collector, nililimitahan ang manifest sa 300 KB at ang bawat gawain sa 100 KB, at humihinto nang may error kung naiiba ang mga kasapi ng manifest o ang naka-pin na hash nito. Wala itong binabago sa provider at hindi nito pinapatakbo ang na-download na code.

Patakbuhin ang `python3 render-assets.py` upang muling likhain ang 2 orihinal na SVG figure. Gumagamit ng ReportLab ang paggawa ng figure; ang mga inilathalang master ay ni-render gamit ang ReportLab 4.4.9 at Python 3.12.14. Direktang binabasa ng figure ng distribusyon ang mga resulta ng pagsusuri. Ang ikalawang figure ay diagram na ginawa ng may-akda tungkol sa configuration record, hindi empirikal na data. Parehong pinananatili ng 2 SVG ang teksto, mga accessible na pamagat at mga paglalarawan.

Ginagamit ng source benchmark ang [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Nananatili sa mga may-akda ang copyright ng mga source. Ang package na ito ay mga piling pagkuha ng katotohanan at orihinal na pagsusuri ng Sapien1; hindi ito nagbibigay ng mga karapatan sa mga task asset o nilalaman ng container ng third party.
