# Recensement des paramètres de ressources de Terminal-Bench

Créé : 2026-11-17
Mis à jour : 2026-11-17

## Question et population

Quelles déclarations propres aux tâches un profil unique de sandbox modifierait-il dans Terminal-Bench v4.1.0 ? Cette étude compare les paramètres publiés afin que les équipes d’évaluation puissent choisir et documenter une configuration d’environnement. Elle n’estime ni l’utilisation réelle des ressources, ni le matériel minimal, ni le prix, ni le temps d’exécution, ni la performance des modèles, ni la probabilité d’échec.

La population comprend les 66 éléments du manifeste officiel de la version v4.1.0, et non tous les fichiers du dépôt qui ressemblent à des tâches. La version a été publiée le 3 novembre 2026. Nous avons lu les métadonnées de configuration le 17 novembre 2026. La [fiche officielle du jeu de données](https://huggingface.co/datasets/harborframework/terminal-bench) indique la version et son [manifeste](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). Le dépôt source est fixé au commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` dans `harbor-framework/terminal-bench`.

Le SHA-256 du manifeste est `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Chaque observation comprend une URL source fixée à une version et le SHA-256 du fichier source complet `task.toml`. Les tâches héritées, les données de test CI et les modèles hors du manifeste de la version sont exclus. Aucune tâche, aucun conteneur, modèle ou script de vérification n’a été exécuté.

## Extraction

L’unité est une tâche du manifeste. Le collecteur analyse le TOML avec la bibliothèque standard de Python et enregistre les valeurs explicites de premier niveau de l’environnement pour le CPU, la mémoire, le stockage, le GPU, le type de GPU, le TPU et le délai maximal de build. Il conserve les champs omis comme tels. Les délais maximaux de l’agent et du vérificateur restent distincts. Les valeurs numériques `1200` et `1200.0` sont équivalentes dans les décomptes de synthèse ; les observations sources conservent leurs types après analyse.

La présence d’un bloc d’environnement du vérificateur est consignée séparément de celle des champs de ressources. Le collecteur conserve aussi séparément schema_version, la version héritée de premier niveau et la version de la tâche ; il signale les alias de ressources hérités, les étapes et les blocs d’environnement supplémentaires. Aucun alias de ressource hérité ni aucune étape n’a été trouvé dans cette version. 6 tâches comportent des blocs explicites d’environnement du vérificateur. Les observations complètes conservent une sélection de champs de ces blocs ; les distributions principales du CPU et de la RAM concernent uniquement l’environnement de premier niveau de la tâche.

Les 66 fichiers TOML sources totalisent 85 966 octets. L’extraction publiée contient une sélection de faits de configuration, les noms des champs, les identifiants des tâches et les condensats des sources. Elle exclut les instructions des tâches, les solutions, les tests, les coordonnées des auteurs et les valeurs des variables d’environnement. Les fichiers sources complets et les images du benchmark ne sont pas redistribués dans ce paquet.

## Comparaison construite

Pour chacun des paramètres CPU, mémoire, stockage et nombre de GPU, nous avons sélectionné la valeur explicite la plus fréquente parmi les 66 déclarations d’environnement de premier niveau : 2 CPU, 4 096 MB de mémoire, 10 240 MB de stockage et 0 GPU. La combinaison de ces valeurs constitue notre profil de comparaison. Il ne s’agit ni d’une valeur par défaut de Harbor, ni d’une recommandation d’un fournisseur, ni d’une configuration d’évaluation observée.

Une tâche entre dans l’ensemble « au-dessus du profil de comparaison » si au moins une valeur numérique explicitement présente est supérieure à la valeur correspondante du profil. Nous prenons l’union des identifiants de tâches, et non la somme des décomptes par champ. Les valeurs de GPU manquantes ne comptent ni comme zéro ni comme une exception au-dessus du profil. Les 8 tâches dont le nombre de GPU est omis restent identifiables dans les données sources. L’union de 38 tâches mesure une différence dans les déclarations ; elle ne prédit pas si une tâche peut s’exécuter ou réussir avec un profil donné.

Nous comptons aussi les configurations de déclaration distinctes pour le CPU, la mémoire, le stockage, le nombre et le type de GPU et le TPU, sans les délais maximaux. Le nombre brut de configurations est de 27. Remplacer les nombres de GPU omis par zéro réduit ce nombre à 22. En raison de cette sensibilité, l’article présente d’abord les différents champs de ressources et une comparaison transparente, plutôt que de présenter le nombre de configurations comme un nombre de besoins matériels.

## Interprétation du moteur d’exécution

Nous avons examiné le code source de Harbor au commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, dont les métadonnées du projet indiquent la version 0.26.0. Ces résultats proviennent d’une lecture du code et non d’une validation par exécution de toutes les tâches ou de tous les backends.

- L’[analyseur de tâches](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) autorise les valeurs nulles pour les nombres de CPU et de GPU, la mémoire et le stockage, et migre les chaînes héritées de mémoire et de stockage. Son champ de version du schéma est une chaîne ; le chemin de migration des versions ne prouve pas à lui seul que toutes les tâches peuvent s’exécuter.
- L’[environnement de base](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) applique les substitutions propres à l’essai. Un nombre de GPU omis y est résolu à zéro ; les politiques d’ignorance du CPU ou de la mémoire peuvent écarter ces valeurs. Nous conservons les omissions dans le jeu de données, même lorsque ce moteur attribue une valeur à l’une d’elles.
- Le [résolveur du vérificateur](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) utilise dans son ensemble un environnement de vérificateur fourni ; sinon, il copie l’environnement de la tâche. Il ne fusionne pas champ par champ un bloc explicite du vérificateur avec les paramètres de l’agent. La [création de l’essai](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) transmet néanmoins les substitutions d’environnement.
- L’[adaptateur Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) transforme les politiques automatiques de CPU et de mémoire en limites et ignore explicitement la sélection du type de GPU. Son [composant d’écriture des ressources Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) écrit les contraintes de CPU, de mémoire et de nombre de GPU, mais pas de plafond de stockage. La configuration Compose existante et d’autres fournisseurs peuvent se comporter différemment.
- La [résolution des délais maximaux](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) et le [calcul des budgets](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) permettent des substitutions, des valeurs maximales et des multiplicateurs. Les délais maximaux déclarés pour l’agent, le vérificateur et le build ne sont pas des durées observées. Leur somme n’est pas présentée comme une limite de la durée totale de l’essai.

Le recensement n’examine pas chaque Dockerfile, sidecar Compose, image ou service externe. Ceux-ci peuvent ajouter des besoins et des contraintes de ressources qui ne figurent pas dans les champs de configuration de premier niveau. Cette étude ne permet de conclure ni à la validité du benchmark ni à une modification des scores.

## Reproduction

Avec Python 3.11 ou une version ultérieure, exécutez `python3 census.py` pour régénérer `census-results.json` à partir de `census.json` fourni. Exécutez `python3 census.py --collect` pour récupérer à nouveau le manifeste fixe et les 66 fichiers TOML associés à une version précise avant l’analyse. Le collecteur effectue au maximum 3 lectures simultanées, limite le manifeste à 300 KB et chaque tâche à 100 KB, et échoue si les éléments du manifeste ou son condensat fixé diffèrent. Il ne modifie aucune donnée chez les fournisseurs et n’exécute aucun code téléchargé.

Exécutez `python3 render-assets.py` pour régénérer les 2 figures SVG originales. Leur génération utilise ReportLab ; les fichiers maîtres publiés ont été produits avec ReportLab 4.4.9 et Python 3.12.14. La figure de distribution lit directement les résultats de l’analyse. La seconde figure est un schéma de l’enregistrement de configuration créé par les auteurs ; elle ne présente pas de données empiriques. Les 2 SVG conservent le texte, les titres accessibles et les descriptions.

Le benchmark source utilise l’[Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Les droits d’auteur sur les sources restent la propriété de leurs auteurs. Ce paquet contient une sélection d’éléments factuels extraits par Sapien1 et son analyse originale ; il n’accorde aucun droit sur les ressources de tâches tierces ou le contenu des conteneurs.
