# Soupis nastavení prostředků v Terminal-Bench

Vytvořeno: 2026-11-17
Aktualizováno: 2026-11-17

## Otázka a soubor úloh

Které deklarace specifické pro jednotlivé úlohy by změnilo jednotné přednastavení sandboxu v Terminal-Bench v4.1.0? Tato studie porovnává zveřejněná nastavení, aby si hodnoticí týmy mohly zvolit a zdokumentovat konfiguraci prostředí. Neodhaduje skutečné využití prostředků, minimální potřebný hardware, cenu, dobu dokončení, výkon modelu ani pravděpodobnost selhání.

Soubor tvoří všech 66 položek oficiálního manifestu vydání v4.1.0, nikoli všechny soubory podobné úlohám v jeho repozitáři. Vydání bylo zveřejněno 3. listopadu 2026. Metadata konfigurace jsme četli 17. listopadu 2026. [Oficiální karta datové sady](https://huggingface.co/datasets/harborframework/terminal-bench) identifikuje vydání a jeho [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Zdrojový repozitář je v `harbor-framework/terminal-bench` připnut ke commitu `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440`.

Hodnota SHA-256 manifestu je `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Každé pozorování obsahuje připnutou zdrojovou adresu URL a hodnotu SHA-256 úplného zdrojového souboru `task.toml`. Starší úlohy, testovací podklady CI a šablony mimo manifest vydání jsou vyloučeny. Nebyla spuštěna žádná úloha, kontejner, model ani ověřovací skript.

## Extrakce

Jednotkou je jedna úloha z manifestu. Sběrný nástroj zpracovává TOML pomocí standardní knihovny Pythonu a zaznamenává výslovné hodnoty CPU, paměti, úložiště, GPU, typu GPU, TPU a časového limitu sestavení v prostředí nejvyšší úrovně. Vynechaná pole ponechává jako vynechaná. Hodnoty časových limitů agenta a ověřovacího programu zůstávají oddělené. Číselné hodnoty `1200` a `1200.0` jsou v souhrnných počtech považovány za rovnocenné; zdrojová pozorování zachovávají jejich zpracované typy.

Přítomnost bloku prostředí ověřovacího programu se zaznamenává odděleně od přítomnosti polí prostředků. Sběrný nástroj také samostatně uchovává schema_version, starší verzi nejvyšší úrovně a verzi úlohy; označuje starší alternativní názvy prostředků, kroky a další bloky prostředí. V tomto vydání nebyly nalezeny žádné starší alternativní názvy prostředků ani kroky. 6 úloh má výslovné bloky prostředí ověřovacího programu. Úplná pozorování uchovávají vybraná pole těchto bloků; hlavní rozložení CPU a RAM se týkají pouze prostředí úlohy na nejvyšší úrovni.

Celková velikost 66 zdrojových souborů TOML je 85 966 bajtů. Zveřejněná extrakce obsahuje vybrané údaje o konfiguraci, názvy polí, identifikátory úloh a hashe zdrojů. Neobsahuje zadání úloh, řešení, testy, kontaktní údaje autorů ani hodnoty proměnných prostředí. Úplné zdrojové soubory a obrazy benchmarku nejsou v tomto balíčku dále šířeny.

## Vytvořené srovnání

Pro každou z položek CPU, paměť, úložiště a počet GPU jsme vybrali nejčastější výslovnou hodnotu v 66 deklaracích prostředí nejvyšší úrovně: 2 CPU, 4 096 MB paměti, 10 240 MB úložiště a 0 GPU. Kombinací těchto hodnot vzniká naše srovnávací přednastavení. Nejde o výchozí nastavení Harbor, doporučení dodavatele ani o pozorované nastavení vyhodnocení.

Úloha je zařazena do množiny „nad srovnávacím přednastavením“, pokud je alespoň jedna výslovně uvedená číselná hodnota vyšší než odpovídající hodnota přednastavení. Používáme sjednocení identifikátorů úloh, nikoli součet počtů za jednotlivá pole. Chybějící hodnoty GPU se nepočítají jako nula ani nevytvářejí kladnou výjimku. 8 úloh s vynechaným počtem GPU zůstává ve zdrojových datech identifikovatelných. Sjednocení 38 úloh měří rozdíl v deklaracích; nepředpovídá, zda lze úlohu při jakémkoli přednastavení spustit nebo úspěšně dokončit.

Počítáme také odlišné kombinace deklarací CPU, paměti, úložiště, počtu GPU, typu GPU a TPU bez časových limitů. Původní počet kombinací je 27. Při nastavení vynechaného počtu GPU na nulu klesne na 22. Kvůli této citlivosti článek staví do popředí jednotlivá pole prostředků a transparentní srovnání, místo aby počet kombinací prezentoval jako počet hardwarových požadavků.

## Výklad spouštěcího programu

Prozkoumali jsme zdrojový kód Harbor na commitu `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, jehož metadata projektu uvádějí verzi 0.26.0. Jde o zjištění z četby kódu, nikoli o ověření všech úloh nebo prováděcích prostředí jejich spuštěním.

- [Parser úloh](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) umožňuje, aby počty CPU, velikost paměti a úložiště i počet GPU měly hodnotu null, a migruje starší řetězcové hodnoty paměti a úložiště. Jeho pole verze schématu je řetězec; samotný postup migrace verzí nedokazuje, že lze každou úlohu spustit.
- [Základní prostředí](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) použije přepsání hodnot pro daný běh. Vynechaný počet GPU se zde vyhodnotí jako nula; zásady ignorování CPU a paměti mohou tyto hodnoty potlačit. Vynechané hodnoty v datové sadě zachováváme, i když spouštěcí program některou z nich převede na konkrétní hodnotu.
- [Nástroj pro určení prostředí ověřovacího programu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) použije dodané prostředí ověřovacího programu jako celek; jinak zkopíruje prostředí úlohy. Výslovný blok ověřovacího programu neslučuje s nastavením agenta po jednotlivých polích. [Vytvoření běhu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) přesto předává hodnoty přepisující nastavení prostředí.
- [Adaptér Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) převádí automatické zásady CPU a paměti na limity a výslovně ignoruje výběr typu GPU. Jeho [nástroj pro zápis prostředků Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) zapisuje omezení CPU, paměti a počtu GPU, nikoli limit úložiště. Existující konfigurace Compose a další poskytovatelé se mohou chovat odlišně.
- [Určení časových limitů](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) a [výpočet rozpočtu](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) umožňují přepsání hodnot, maxima a násobitele. Deklarace časových limitů agenta, ověřovacího programu a sestavení nejsou pozorovanými délkami trvání. Netvrdíme, že jejich součet představuje horní hranici celkové délky běhu.

Soupis nezkoumá každý Dockerfile, vedlejší kontejner Compose, obraz ani externí službu. Ty mohou přidávat požadavky na prostředky a omezení nad rámec konfiguračních polí nejvyšší úrovně. Ze studie neplyne žádný závěr o platnosti benchmarku ani změnách skóre.

## Reprodukce

V Pythonu 3.11 nebo novějším spusťte `python3 census.py`, čímž z dodaného `census.json` znovu vytvoříte `census-results.json`. Spuštěním `python3 census.py --collect` před analýzou znovu načtete pevně daný manifest a všech 66 připnutých souborů TOML. Sběrný nástroj provádí nejvýše 3 souběžná čtení, omezuje manifest na 300 KB a každou úlohu na 100 KB a skončí chybou, pokud se liší položky manifestu nebo jeho připnutý hash. Nemění nic u poskytovatelů a nespouští stažený kód.

Spuštěním `python3 render-assets.py` znovu vytvoříte 2 původní obrázky SVG. Generování obrázků používá ReportLab; zveřejněné předlohy byly vykresleny pomocí ReportLab 4.4.9 a Pythonu 3.12.14. Obrázek rozložení čte výsledky analýzy přímo. Druhý obrázek je autorem vytvořené schéma záznamu konfigurace, nikoli empirická data. Oba soubory SVG zachovávají text, přístupné názvy a popisy.

Zdrojový benchmark používá [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Autorská práva ke zdrojům zůstávají jejich autorům. Tento balíček obsahuje výběrovou extrakci faktů a původní analýzu společnosti Sapien1; neuděluje práva k podkladům úloh třetích stran ani k obsahu kontejnerů.
