# Censimento delle impostazioni delle risorse di Terminal-Bench

Creata: 2026-11-17
Aggiornata: 2026-11-17

## Domanda e popolazione

Quali dichiarazioni specifiche dei compiti cambierebbe un’unica configurazione predefinita della sandbox in Terminal-Bench v4.1.0? Questo studio confronta le impostazioni pubblicate per consentire ai team di valutazione di scegliere e documentare una configurazione dell’ambiente. Non stima l’uso effettivo delle risorse, l’hardware minimo, il prezzo, il tempo di completamento, le prestazioni del modello o la probabilità di errore.

La popolazione comprende tutti i 66 elementi del manifest ufficiale della versione v4.1.0, non tutti i file simili a compiti presenti nel repository. La versione è stata pubblicata il 3 novembre 2026. Abbiamo letto i metadati di configurazione il 17 novembre 2026. La [scheda ufficiale del dataset](https://huggingface.co/datasets/harborframework/terminal-bench) identifica la versione e il relativo [manifest](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Il repository sorgente è fissato al commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` in `harbor-framework/terminal-bench`.

L’hash SHA-256 del manifest è `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Ogni osservazione include un URL della fonte fissato a una versione e l’hash SHA-256 del file sorgente completo `task.toml`. Sono esclusi i compiti precedenti, le fixture CI e i modelli esterni al manifest della versione. Non sono stati eseguiti compiti, container, modelli o script di verifica.

## Estrazione

L’unità di analisi è un compito del manifest. Il programma di raccolta analizza TOML con la libreria standard di Python e registra i valori espliciti dell’ambiente di primo livello per CPU, memoria, archiviazione, GPU, tipo di GPU, TPU e timeout di compilazione. Mantiene come omessi i campi omessi. I valori di timeout dell’agente e del verificatore restano separati. I valori numerici `1200` e `1200.0` sono equivalenti nei conteggi riepilogativi; le osservazioni della fonte conservano i tipi ottenuti dall’analisi.

La presenza di un blocco dell’ambiente del verificatore è registrata separatamente dalla presenza di campi relativi alle risorse. Il programma di raccolta conserva anche schema_version, version di primo livello precedente e la versione del compito separatamente; segnala gli alias precedenti delle risorse, i passaggi e i blocchi di ambiente aggiuntivi. In questa versione non sono stati trovati alias precedenti delle risorse né passaggi. 6 compiti hanno blocchi espliciti per l’ambiente del verificatore. Le osservazioni complete conservano i campi selezionati di questi blocchi; le distribuzioni principali di CPU e RAM riguardano solo l’ambiente di primo livello del compito.

I 66 file TOML di origine contengono in totale 85.966 byte. L’estrazione pubblicata contiene dati di configurazione selezionati, nomi dei campi, identificativi dei compiti e hash delle fonti. Esclude istruzioni dei compiti, soluzioni, test, informazioni di contatto degli autori e valori delle variabili d’ambiente. I file sorgente completi e le immagini del benchmark non sono ridistribuiti in questo pacchetto.

## Confronto costruito

Per ciascuno tra CPU, memoria, archiviazione e numero di GPU, abbiamo selezionato il valore esplicito più frequente nelle 66 dichiarazioni dell’ambiente di primo livello: 2 CPU, 4.096 MB di memoria, 10.240 MB di archiviazione e 0 GPU. La combinazione di questi valori costituisce la nostra configurazione predefinita di confronto. Non è un’impostazione predefinita di Harbor, una raccomandazione di un fornitore o una configurazione di valutazione osservata.

Un compito rientra nell’insieme «al di sopra della configurazione predefinita di confronto» se almeno un valore numerico esplicitamente presente supera il valore corrispondente della configurazione. Consideriamo l’unione degli identificativi dei compiti, non la somma dei conteggi per campo. I valori GPU mancanti non sono conteggiati come zero né generano un’eccezione positiva. Gli 8 compiti con numero di GPU omesso restano identificabili nei dati di origine. L’unione di 38 compiti misura una differenza nelle dichiarazioni; non prevede se il compito possa essere eseguito o superato con una qualsiasi configurazione predefinita.

Contiamo anche le combinazioni distinte di dichiarazioni per CPU, memoria, archiviazione, numero di GPU, tipo di GPU e TPU, esclusi i timeout. Il conteggio grezzo delle combinazioni è 27. Impostare a zero il numero di GPU omesso riduce il conteggio a 22. Per questa sensibilità, l’articolo mette in primo piano i singoli campi delle risorse e un confronto trasparente, invece di presentare il numero di combinazioni come un conteggio dei requisiti hardware.

## Interpretazione del programma di esecuzione

Abbiamo esaminato il codice sorgente di Harbor al commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, i cui metadati di progetto identificano la versione 0.26.0. Questi risultati derivano dalla lettura del codice, non da una validazione eseguita su tutti i compiti o backend.

- Il [parser dei compiti](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) consente valori nulli per i conteggi di CPU, memoria, archiviazione e GPU e migra le stringhe precedenti di memoria e archiviazione. Il campo della versione dello schema è una stringa; il percorso di migrazione della versione non dimostra di per sé che ogni compito possa essere eseguito.
- L’[ambiente di base](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) applica le sostituzioni previste per la prova. Qui il numero di GPU omesso viene risolto a zero; le regole che ignorano CPU o memoria possono sopprimere i valori. Nel dataset manteniamo le omissioni anche quando questo programma di esecuzione associa un’omissione a un valore.
- Il [risolutore del verificatore](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) usa per intero l’ambiente del verificatore fornito; altrimenti copia l’ambiente del compito. Non combina campo per campo un blocco esplicito del verificatore con le impostazioni dell’agente. La [creazione della prova](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) trasmette comunque le sostituzioni dell’ambiente.
- L’[adattatore Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) associa le regole automatiche per CPU e memoria ai limiti e ignora esplicitamente la selezione del tipo di GPU. Il suo [programma di scrittura delle risorse Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) scrive vincoli per CPU, memoria e numero di GPU, ma non un limite di archiviazione. La configurazione Compose esistente e altri fornitori possono comportarsi diversamente.
- La [risoluzione dei timeout](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) e il [calcolo dei budget](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) consentono sostituzioni, valori massimi e moltiplicatori. Le dichiarazioni dei timeout di agente, verificatore e compilazione non sono durate osservate. La loro somma non è presentata come limite della durata totale della prova.

Il censimento non esamina ogni Dockerfile, sidecar Compose, immagine o servizio esterno. Questi possono aggiungere requisiti e vincoli sulle risorse esterni ai campi di configurazione di primo livello. Da questo studio non deriva alcuna conclusione sulla validità del benchmark o sulle variazioni dei punteggi.

## Riproduzione

Con Python 3.11 o successivo, esegui `python3 census.py` per rigenerare `census-results.json` dal file `census.json` fornito. Esegui `python3 census.py --collect` per recuperare nuovamente il manifest fissato e tutti i 66 file TOML fissati a una versione prima dell’analisi. Il programma di raccolta usa al massimo 3 letture simultanee, limita il manifest a 300 KB e ogni compito a 100 KB e si arresta con errore se i membri del manifest o l’hash del manifest fissato sono diversi. Non modifica alcun fornitore e non esegue il codice scaricato.

Esegui `python3 render-assets.py` per rigenerare le 2 figure SVG originali. La generazione delle figure usa ReportLab; i file originali pubblicati sono stati generati con ReportLab 4.4.9 e Python 3.12.14. La figura delle distribuzioni legge direttamente i risultati dell’analisi. La seconda figura è un diagramma del record di configurazione creato dagli autori, non dati empirici. Entrambi gli SVG conservano testo, titoli accessibili e descrizioni.

Il benchmark di origine usa la [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). I diritti d’autore sulle fonti restano ai rispettivi autori. Questo pacchetto contiene l’estrazione fattuale selezionata e l’analisi originale di Sapien1; non concede diritti sulle risorse dei compiti di terze parti o sui contenuti dei container.
