# Censo de configuraciones de recursos de Terminal-Bench

Creado: 2026-11-17
Actualizado: 2026-11-17

## Pregunta y población

¿Qué declaraciones específicas de cada tarea cambiaría una configuración predeterminada única para el entorno aislado en Terminal-Bench v4.1.0? Este estudio compara configuraciones publicadas para que los equipos de evaluación puedan elegir y documentar una configuración de entorno. No estima el uso real de recursos, el hardware mínimo, el precio, el tiempo de finalización, el rendimiento del modelo ni la probabilidad de fallo.

La población comprende los 66 elementos del manifiesto oficial de la versión v4.1.0, no todos los archivos del repositorio que se parecen a tareas. La versión se publicó el 3 de noviembre de 2026. Consultamos los metadatos de configuración el 17 de noviembre de 2026. La [ficha oficial del conjunto de datos](https://huggingface.co/datasets/harborframework/terminal-bench) identifica la versión y su [manifiesto](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). El repositorio de origen está fijado al commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` en `harbor-framework/terminal-bench`.

El SHA-256 del manifiesto es `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Cada observación incluye una URL de origen fijada y el SHA-256 del `task.toml` de origen completo. Se excluyen las tareas heredadas, los recursos de prueba de CI y las plantillas ajenas al manifiesto de la versión. No se ejecutó ninguna tarea, contenedor, modelo ni script de verificación.

## Extracción

La unidad es una tarea del manifiesto. El recolector analiza TOML con la biblioteca estándar de Python y registra los valores explícitos de CPU, memoria, almacenamiento, GPU, tipo de GPU, TPU y tiempo límite de compilación del entorno de nivel superior. Conserva los campos omitidos como tales. Los tiempos límite del agente y del verificador se mantienen separados. Los valores numéricos `1200` y `1200.0` son equivalentes en los recuentos resumidos; las observaciones de origen conservan sus tipos analizados.

La presencia de un bloque de entorno del verificador se registra por separado de la presencia de campos de recursos. El recolector también conserva por separado schema_version, la versión heredada de nivel superior y la versión de la tarea; identifica alias heredados de recursos, pasos y bloques de entorno adicionales. En esta versión no se encontraron alias heredados de recursos ni pasos. 6 tareas tienen bloques explícitos de entorno del verificador. Las observaciones completas conservan determinados campos de estos bloques; las distribuciones principales de CPU/RAM se refieren únicamente al entorno de nivel superior de la tarea.

Los 66 archivos TOML de origen suman 85.966 bytes. La extracción publicada contiene datos de configuración seleccionados, nombres de campos, identificadores de tareas y hashes de las fuentes. Excluye instrucciones de tareas, soluciones, pruebas, información de contacto de los autores y valores de variables de entorno. Este paquete no redistribuye los archivos de origen completos ni las imágenes del benchmark.

## Comparación construida

Para cada uno de los recuentos de CPU, memoria, almacenamiento y GPU, seleccionamos el valor explícito más frecuente en las 66 declaraciones de entorno de nivel superior: 2 CPU, 4.096 MB de memoria, 10.240 MB de almacenamiento y 0 GPU. La combinación de esos valores constituye nuestra configuración de comparación. No es una configuración predeterminada de Harbor, una recomendación de un proveedor ni una configuración de evaluación observada.

Una tarea entra en el conjunto «por encima de la configuración de comparación» si al menos un valor numérico presente de forma explícita es mayor que el valor correspondiente de la configuración. Tomamos la unión de los identificadores de tareas, no la suma de los recuentos por campo. Los valores de GPU ausentes no cuentan como cero ni generan una excepción por encima de la configuración. Las 8 tareas con el recuento de GPU omitido siguen siendo identificables en los datos de origen. La unión de 38 tareas mide una diferencia en las declaraciones; no predice si la tarea puede ejecutarse o superarse con alguna configuración.

También contamos los patrones distintos de declaración de CPU, memoria, almacenamiento, recuento de GPU, tipo de GPU y TPU, excluidos los tiempos límite. El recuento bruto es de 27 patrones. Asignar cero al recuento de GPU omitido reduce ese número a 22. Debido a esta sensibilidad, el artículo comienza con campos de recursos individuales y una comparación transparente, en lugar de presentar el recuento de patrones como un recuento de requisitos de hardware.

## Interpretación del ejecutor

Revisamos el código fuente de Harbor en el commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, cuyos metadatos del proyecto identifican la versión 0.26.0. Estos hallazgos proceden de la lectura del código, no de una validación ejecutada de todas las tareas o sistemas de ejecución.

- El [analizador de tareas](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) permite que los recuentos de CPU, memoria, almacenamiento y GPU sean nulos y migra las cadenas heredadas de memoria y almacenamiento. Su campo de versión del esquema es una cadena; la ruta de migración de versiones no demuestra por sí sola que todas las tareas puedan ejecutarse.
- El [entorno base](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) aplica las sustituciones de configuración de cada ejecución. Allí, un recuento de GPU omitido se resuelve como cero; las políticas que ignoran CPU o memoria pueden suprimir esos valores. Conservamos las omisiones en el conjunto de datos incluso cuando este ejecutor asigna un valor a una de ellas.
- El [resolvedor del verificador](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) usa en su totalidad un entorno del verificador proporcionado; de lo contrario, copia el entorno de la tarea. No combina campo por campo un bloque explícito del verificador con la configuración del agente. La [creación de la ejecución](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) sigue transmitiendo las sustituciones de configuración del entorno.
- El [adaptador de Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) asigna las políticas automáticas de CPU y memoria a límites e ignora explícitamente la selección del tipo de GPU. Su [generador de recursos de Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) escribe restricciones de CPU, memoria y recuento de GPU, pero no un límite de almacenamiento. La configuración existente de Compose y otros proveedores pueden comportarse de manera diferente.
- La [resolución de tiempos límite](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) y el [cálculo de presupuestos de tiempo](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) permiten sustituciones, máximos y multiplicadores. Los tiempos límite declarados para el agente, el verificador y la compilación no son duraciones observadas. No se afirma que su suma sea un límite de la duración total de la ejecución.

El censo no inspecciona todos los Dockerfile, contenedores auxiliares de Compose, imágenes ni servicios externos. Estos pueden añadir requisitos y restricciones de recursos fuera de los campos de configuración de nivel superior. Este estudio no permite extraer conclusiones sobre la validez del benchmark ni sobre cambios en las puntuaciones.

## Reproducción

Con Python 3.11 o posterior, ejecuta `python3 census.py` para regenerar `census-results.json` a partir de `census.json`, que se suministra. Ejecuta `python3 census.py --collect` para volver a obtener el manifiesto fijado y los 66 archivos TOML fijados antes del análisis. El recolector utiliza como máximo 3 lecturas simultáneas, limita el manifiesto a 300 KB y cada tarea a 100 KB, y falla si difieren los elementos del manifiesto o el hash fijado del manifiesto. No modifica recursos de los proveedores ni ejecuta el código descargado.

Ejecuta `python3 render-assets.py` para regenerar las 2 figuras SVG originales. La generación de figuras usa ReportLab; los archivos maestros publicados se generaron con ReportLab 4.4.9 y Python 3.12.14. La figura de distribución lee directamente los resultados del análisis. La segunda figura es un diagrama del registro de configuración creado por los autores, no datos empíricos. Ambos SVG conservan texto, títulos accesibles y descripciones.

El benchmark de origen usa la [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Los derechos de autor del material de origen pertenecen a sus autores. Este paquete contiene una extracción seleccionada de hechos y un análisis original de Sapien1; no concede derechos sobre recursos de tareas ni contenidos de contenedores de terceros.
