# Recensământul setărilor de resurse Terminal-Bench

Creat: 2026-11-17
Actualizat: 2026-11-17

## Întrebarea și populația

Ce declarații specifice sarcinilor ar modifica o singură configurație prestabilită de sandbox în Terminal-Bench v4.1.0? Acest studiu compară setările publicate, astfel încât echipele de evaluare să poată selecta și documenta o configurație de mediu. Nu estimează utilizarea efectivă a resurselor, hardware-ul minim, prețul, durata de finalizare, performanța modelelor sau probabilitatea de eșec.

Populația cuprinde toate cele 66 de elemente din manifestul oficial al versiunii v4.1.0, nu toate fișierele asemănătoare sarcinilor din depozitul său. Versiunea a fost publicată la 3 noiembrie 2026. Am citit metadatele de configurare la 17 noiembrie 2026. [Fișa oficială a setului de date](https://huggingface.co/datasets/harborframework/terminal-bench) identifică versiunea și [manifestul](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json) acesteia. Depozitul sursă este fixat la commitul `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` din `harbor-framework/terminal-bench`.

Hashul SHA-256 al manifestului este `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Fiecare observație include o adresă URL fixată a sursei și hashul SHA-256 al fișierului sursă complet `task.toml`. Sarcinile vechi, datele de test CI și șabloanele din afara manifestului versiunii sunt excluse. Nu a fost rulată nicio sarcină, niciun container, model sau script de verificare.

## Extragere

Unitatea de analiză este o sarcină din manifest. Instrumentul de colectare analizează TOML cu biblioteca standard Python și înregistrează valorile explicite de la nivelul superior al mediului pentru CPU, memorie, stocare, GPU, tipul de GPU, TPU și limita de timp pentru construire. Păstrează câmpurile omise ca omise. Valorile limitelor de timp pentru agent și verificator rămân separate. Valorile numerice `1200` și `1200.0` sunt echivalente în numărările sintetice; observațiile sursă păstrează tipurile lor rezultate din analiză.

Prezența unui bloc de mediu pentru verificator este înregistrată separat de prezența câmpurilor de resurse. Instrumentul de colectare păstrează separat și schema_version, versiunea veche de la nivelul superior și versiunea sarcinii; semnalează aliasurile vechi pentru resurse, pașii și blocurile de mediu suplimentare. În această versiune nu au fost găsite aliasuri vechi pentru resurse sau pași. 6 sarcini au blocuri explicite de mediu pentru verificator. Observațiile complete păstrează câmpurile selectate ale acestor blocuri; distribuțiile principale pentru CPU și RAM privesc doar mediul sarcinii de la nivelul superior.

Cele 66 de fișiere TOML sursă însumează 85.966 de octeți. Extragerea publicată conține date selectate despre configurație, nume de câmpuri, identificatori ai sarcinilor și hashuri ale surselor. Exclude instrucțiunile sarcinilor, soluțiile, testele, datele de contact ale autorilor și valorile variabilelor de mediu. Fișierele sursă complete și imaginile benchmarkului nu sunt redistribuite în acest pachet.

## Comparația construită

Pentru fiecare dintre numărul de CPU-uri, memorie, stocare și numărul de GPU-uri, am selectat cea mai frecventă valoare explicită din cele 66 de declarații ale mediului de la nivelul superior: 2 CPU-uri, 4.096 MB de memorie, 10.240 MB de stocare și 0 GPU-uri. Combinarea acestor valori formează configurația noastră de comparație. Nu este o valoare implicită Harbor, o recomandare a unui furnizor sau o configurație de evaluare observată.

O sarcină intră în setul „peste configurația de comparație” dacă cel puțin o valoare numerică prezentă explicit este mai mare decât valoarea corespunzătoare din configurație. Folosim reuniunea identificatorilor de sarcini, nu suma numărului de sarcini pentru fiecare câmp. Valorile GPU omise nu sunt considerate nici zero, nici excepții pozitive. Cele 8 sarcini cu numărul de GPU-uri omis rămân identificabile în datele sursă. Reuniunea de 38 de sarcini măsoară o diferență între declarații; nu prezice dacă sarcina poate fi rulată sau trecută cu vreo configurație prestabilită.

Numărăm și tiparele distincte de declarații pentru CPU, memorie, stocare, numărul de GPU-uri, tipul de GPU și TPU, excluzând limitele de timp. Numărul brut de tipare este 27. Tratarea numărului omis de GPU-uri ca zero reduce numărul la 22. Din cauza acestei sensibilități, articolul pune pe primul loc câmpurile individuale de resurse și o comparație transparentă, în loc să prezinte numărul de tipare ca număr de cerințe hardware.

## Interpretarea programului de rulare

Am analizat sursa Harbor la commitul `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, ale cărui metadate de proiect identifică versiunea 0.26.0. Aceste constatări provin din citirea codului, nu dintr-o validare prin rulare a tuturor sarcinilor sau sistemelor backend.

- [Analizorul sarcinilor](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) permite valori nule pentru numărul de CPU-uri, memorie, stocare și GPU-uri și migrează șirurile vechi pentru memorie și stocare. Câmpul său pentru versiunea schemei este un șir; mecanismul de migrare a versiunii nu stabilește, prin el însuși, că fiecare sarcină poate fi executată.
- [Mediul de bază](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) aplică suprascrierile pentru rularea de probă. Acolo, numărul de GPU-uri omis este interpretat ca zero; politicile de ignorare pentru CPU/memorie pot elimina valorile. Păstrăm omisiunile în setul de date chiar și atunci când acest program de rulare atribuie o valoare uneia dintre ele.
- [Rezolvatorul mediului verificatorului](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) folosește ca întreg un mediu pentru verificator, dacă acesta este furnizat; altfel, copiază mediul sarcinii. Nu combină câmp cu câmp un bloc explicit al verificatorului cu setările agentului. [Crearea rulării de probă](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) transmite totuși suprascrierile de mediu.
- [Adaptorul Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) transformă politicile automate pentru CPU/memorie în limite și ignoră explicit selectarea tipului de GPU. [Componenta sa de scriere a resurselor Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) scrie constrângeri pentru CPU, memorie și numărul de GPU-uri, nu o limită de stocare. Configurația Compose existentă și alți furnizori se pot comporta diferit.
- [Rezolvarea limitelor de timp](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) și [calculul bugetului](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) permit suprascrieri, valori maxime și multiplicatori. Limitele de timp declarate pentru agent, verificator și construire nu sunt durate observate. Suma lor nu este prezentată ca limită a duratei totale a rulării de probă.

Recensământul nu inspectează fiecare Dockerfile, sidecar Compose, imagine sau serviciu extern. Acestea pot adăuga cerințe și constrângeri privind resursele în afara câmpurilor de configurare de la nivelul superior. Studiul nu permite concluzii despre validitatea benchmarkului sau modificări ale scorurilor.

## Reproducere

Cu Python 3.11 sau o versiune ulterioară, rulează `python3 census.py` pentru a regenera `census-results.json` din `census.json` furnizat. Rulează `python3 census.py --collect` pentru a prelua din nou manifestul fixat și toate cele 66 de fișiere TOML fixate înainte de analiză. Instrumentul de colectare folosește cel mult 3 citiri simultane, limitează manifestul la 300 KB și fiecare sarcină la 100 KB și eșuează dacă elementele manifestului sau hashul fixat al manifestului diferă. Nu modifică nimic la furnizori și nu execută codul descărcat.

Rulează `python3 render-assets.py` pentru a regenera cele 2 figuri SVG originale. Generarea figurilor folosește ReportLab; fișierele master publicate au fost randate cu ReportLab 4.4.9 și Python 3.12.14. Figura distribuției citește direct rezultatele analizei. A doua figură este o diagramă a înregistrării configurației creată de autor, nu reprezintă date empirice. Ambele fișiere SVG păstrează textul, titlurile și descrierile accesibile.

Benchmarkul sursă folosește [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Drepturile de autor asupra surselor rămân ale autorilor lor. Acest pachet reprezintă extragerea selectivă de date factuale și analiza originală realizate de Sapien1; nu acordă drepturi asupra materialelor terților asociate sarcinilor sau asupra conținutului containerelor.
