# La configuración de recursos de 66 tareas de Terminal-Bench

Terminal-Bench v4.1.0 declara distintas configuraciones de recursos para sus 66 tareas. En nuestro censo de archivos de configuración, 31 tareas especifican más de 4.096 MB de memoria y 22 especifican más de dos CPU. Un perfil de comparación que combina los valores explícitos más frecuentes de CPU, memoria, almacenamiento y GPU queda por debajo de al menos un valor declarado en 38 tareas. Estas diferencias señalan qué configuraciones conviene conservar o documentar al preparar entornos aislados para una evaluación. Por sí solas no predicen el consumo de recursos ni los fallos de las tareas.

Si ejecutas el mismo benchmark en un entorno nuevo, ¿qué condiciones se mantienen? La respuesta depende de la versión de la tarea, la versión del ejecutor, las opciones que sustituyen valores y las políticas del sistema de ejecución.

## La versión incluye tareas con distintas necesidades declaradas

Revisamos todas las tareas del manifiesto oficial de Terminal-Bench v4.1.0, publicado el 3 de noviembre de 2026. El censo comprende las 66 tareas de esa versión, cada una con un archivo `task.toml` en una revisión fija del código fuente. El repositorio también contiene tareas antiguas y archivos auxiliares de pruebas que quedan fuera del censo. [Versión y manifiesto oficiales](https://huggingface.co/datasets/harborframework/terminal-bench)

Las declaraciones del entorno principal van de 2 a 16 CPU y de 4.096 a 32.768 MB de memoria. El valor de CPU más frecuente es dos, que aparece en 44 tareas. El valor de memoria más frecuente es 4.096 MB, presente en 35. El resto se reparte entre valores más altos.

![Recuento de declaraciones explícitas de CPU y memoria en las 66 tareas. CPU: 2 en 44 tareas, 4 en 14, 8 en 6 y 16 en 2. Memoria: 4.096 MB en 35, 8.192 MB en 22, 16.384 MB en 8 y 32.768 MB en 1.](https://sapien1.com/research/terminal-bench-resource-settings/figures/es/resource-distribution.svg)

Cada panel abarca los mismos 66 entornos de tarea. Los valores proceden de los archivos de configuración de la versión. Las [observaciones completas](https://sapien1.com/research/terminal-bench-resource-settings/census.json) incluyen una URL fija y el hash del archivo de origen de cada tarea.

Esto importa al estandarizar la infraestructura. Un entorno uniforme puede simplificar la programación de las ejecuciones, pero modifica algunas condiciones declaradas si el ejecutor no aplica los valores específicos de cada tarea. Disponer de más recursos tampoco conserva automáticamente un límite declarado más bajo. La comparación depende de qué límites aplican el ejecutor y el sistema de ejecución.

## Un perfil construido con los valores frecuentes cambia muchas declaraciones

Para concretar la comparación, construimos un perfil con el valor explícito más frecuente de cada campo.

| Campo | Valor del perfil de comparación |
| --- | ---: |
| CPU | 2 |
| Memoria | 4,096 MB |
| Almacenamiento | 10,240 MB |
| GPU | 0 |

Este perfil se creó para el análisis. Sus valores no representan la configuración predeterminada de Harbor, una recomendación del proveedor ni una implementación observada. Cada valor es frecuente por separado. La combinación completa puede tener otra frecuencia.

Comprobamos si alguna declaración explícita de cada tarea superaba el valor correspondiente del perfil. El resultado fue **38 de 66 tareas**. Por campo, 22 superaban el valor de CPU, 31 el de memoria, 17 el de almacenamiento y tres el de GPU. Los grupos se solapan, por lo que sumarlos contaría algunas tareas más de una vez. Los [resultados de la comparación](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) incluyen los identificadores exactos por campo y la lista conjunta.

Las otras 28 tareas no superan los cuatro valores en sus declaraciones registradas. Esto no garantiza su compatibilidad con el perfil. Ocho tareas omiten el número de GPU y el censo conserva esa omisión como tal. Los archivos, contenedores auxiliares, imágenes y servicios pueden añadir requisitos que estos cuatro campos no recogen.

Para ejecutar tareas sin GPU, los mantenedores ofrecen un [conjunto independiente de 63 tareas solo para CPU](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only) en Terminal-Bench 4.1.0. Ejecútalo con `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` e identifica sus resultados por separado de las puntuaciones de la versión completa de 66 tareas. Que una tarea forme parte de ese conjunto no indica si cumple un límite determinado de CPU, memoria o almacenamiento.

Consulta la lista de excepciones para identificar qué ajustes cambiaría un entorno estándar antes de ejecutar las tareas.

## Las declaraciones pasan por el ejecutor y el sistema de ejecución

El archivo de la tarea es una parte de la configuración de evaluación. Para entender cómo se interpretan sus declaraciones, revisamos una revisión fija de Harbor cuyos [metadatos de paquete indican la versión 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

En ese código, las opciones de recursos de cada intento pueden sustituir los valores de la tarea. Las políticas de CPU y memoria también pueden determinar si se aplican o se ignoran esos valores. El analizador admite valores nulos cuando se omiten la CPU, la memoria o el almacenamiento. El entorno base interpreta la ausencia del número de GPU como cero a efectos de ejecución. El censo conserva la omisión original para distinguir lo escrito en la tarea de la interpretación del ejecutor. [Lógica del entorno de Harbor en la revisión fija](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

El sistema de ejecución también influye. El adaptador de Docker revisado convierte sus políticas automáticas de CPU y memoria en límites. [Ignora expresamente la selección del tipo de GPU](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272) y el código que genera los recursos de Compose no establece un máximo de almacenamiento. Tres tareas de la versión especifican una H100, pero ese campo por sí solo no demuestra que Docker la asigne. Del mismo modo, un valor de `storage_mb` por sí solo no establece un límite de disco en Docker. La configuración de Compose puede añadir restricciones y otros sistemas de ejecución pueden interpretar los campos de otra manera. [Adaptador de Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [Generación de recursos de Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

Para reproducir una evaluación, conserva la declaración y documenta cómo la aplicó el sistema elegido. Un registro de la configuración solicitada y otro de la asignación efectiva responden a preguntas diferentes.

![Cuatro niveles que conviene registrar en una evaluación: declaración fijada de la tarea, versión y opciones del ejecutor, política de recursos del sistema de ejecución y asignación observada cuando se pueda medir.](https://sapien1.com/research/terminal-bench-resource-settings/figures/es/evaluation-record.svg)

Registra los valores solicitados y las asignaciones observadas en campos separados.

## Registra por separado los límites de tiempo del agente y los ajustes del verificador

Los 66 archivos de tarea fijan explícitamente un límite de 28.800 segundos para el agente, es decir, ocho horas. Es un máximo configurado. Los límites declarados de verificación van de 60 a 18.000 segundos y los de la fase de preparación del entorno, de 300 a 18.000 segundos. Conviene registrar esas fases por separado cuando se estima la duración de una tarea.

El ejecutor revisado puede sustituir los límites de tiempo, imponer máximos y aplicar multiplicadores. En la función inspeccionada, el máximo se aplica antes del multiplicador. El análisis deja fuera la estimación del tiempo total transcurrido a partir de la suma de los límites de cada fase. [Resolución de límites en la revisión fija](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [Cálculo del presupuesto por fase](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

Con las reglas de la versión de Harbor que revisamos, calculamos los límites de tiempo de verificación para las 66 tareas de Terminal-Bench v4.1.0. Probamos por separado un máximo de 600 segundos y una sustitución del límite por 600 segundos. En ambos casos usamos un multiplicador de 1. El mayor límite calculado fue de 600 segundos en los dos casos. El máximo conservó los 28 límites más cortos. La sustitución elevó esos 28 límites a 600 segundos. Para conservar los límites más cortos en esta configuración, usa el máximo y registra el ajuste que utilizaste. [Cómo elige Harbor el límite de tiempo inicial](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [Cómo aplica Harbor el máximo y el multiplicador](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

El límite de tiempo del trabajo puede detener a un agente que se ejecuta localmente antes de que agote su propio tiempo. Por ejemplo, si el agente tiene ocho horas para una tarea, no puede aprovecharlas todas en un [trabajo alojado por GitHub](https://docs.github.com/en/actions/reference/limits) con un límite de seis horas. La preparación dentro de ese mismo trabajo también consume parte del tiempo disponible. Registra por separado el límite de tiempo del trabajo y el del agente.

Todas las tareas también habilitan explícitamente la verificación por separado. Seis declaran un bloque para el entorno del verificador. El código de Harbor revisado selecciona un bloque explícito completo sin combinar sus campos con los del entorno de la tarea. Si falta el bloque, copia el entorno de la tarea. Las opciones de cada intento aún pueden cambiar la configuración efectiva del verificador. [Resolución de la configuración del verificador](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

Registra los ajustes del agente y del verificador por separado aunque coincidan. La opción de verificación por separado no describe por sí sola la asignación efectiva de recursos ni indica que ambos entornos consuman recursos a la vez.

Comparamos las declaraciones de CPU, memoria, almacenamiento, GPU, límites de tiempo y modo de verificación en Terminal-Bench 4.0 y 4.1 para las 66 tareas con nombres y rutas coincidentes. La [comparación](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) encontró dos tareas con cambios en esos campos. En `distributed-dedup` el límite de verificación aumentó de 1.800 a 3.900 segundos. En `payments-pipeline-fix` los valores explícitos del verificador pasaron de 6 CPU y 12.288 MB a 8 CPU y 16.384 MB. Observamos declaraciones, no asignaciones efectivas. Las [notas de la versión 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) indican que se modificaron las 66 tareas. Esta comprobación de configuración deja abierta la equivalencia de sus instrucciones, imágenes y verificadores.

Descarga [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) y [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) en la misma carpeta. Con Python 3.11 o posterior y acceso a Internet, ejecuta `python3 compare-versions.py > comparison.json` desde esa carpeta. El script obtiene el registro fijo de la versión 4.0 y los metadatos de las tareas sin ejecutarlas. El informe local conserva la atribución y la petición del proyecto de excluir estos datos de los corpus de entrenamiento.

## Qué conservar al cambiar la configuración de una evaluación

El censo permite preparar un registro breve de configuración.

1. **Fija el conjunto de tareas.** Conserva juntos el manifiesto, la revisión del código fuente y las rutas a las tareas. El recuento de archivos de todo el repositorio puede incluir material ajeno a la versión del benchmark.
2. **Conserva las declaraciones originales.** Registra los valores explícitos y las omisiones, incluidos los ajustes independientes del verificador y los límites de tiempo por fase.
3. **Identifica el ejecutor y sus opciones.** Guarda la versión o revisión exacta y las opciones que sustituyen o multiplican los valores de las tareas.
4. **Comprueba las políticas del sistema de ejecución.** Identifica qué campos se convierten en límites, reservas, valores predeterminados o solicitudes que el sistema no admite.
5. **Registra la asignación final cuando se pueda observar.** Consérvala por separado de la configuración pedida y del consumo medido durante la ejecución.

Si modificas un límite o una asignación de forma intencional, anótalo junto al resultado. Así quien consulte los resultados podrá entender las condiciones de la evaluación y comparar entornos con las diferencias a la vista.

La [comparación de configuraciones](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) y el [código de análisis](https://sapien1.com/research/terminal-bench-resource-settings/census.py) permiten inspeccionar las excepciones. sapien1 aplica este tipo de revisión de tareas y entornos al definir un proyecto de [evaluación de agentes](https://sapien1.com/es/agent-evaluation).

Para comparar otros límites, descarga el [filtro de recursos](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) y el [censo](https://sapien1.com/research/terminal-bench-resource-settings/census.json) en la misma carpeta. Por ejemplo, `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` enumera las tareas cuyas declaraciones encajan en esos límites tanto en el entorno de tarea como en el del verificador. El resultado conserva las omisiones y por sí solo no indica si una tarea puede ejecutarse. Terminal-Bench pide excluir los datos del benchmark de los corpus de entrenamiento.

### Compara las tareas seleccionadas con cada límite

Cada una de las dos configuraciones de ejemplo selecciona 44 de las 66 tareas de Terminal-Bench v4.1.0. Las listas comparten 36 tareas y cada una incluye otras ocho. El filtro comprueba por separado si los valores declarados de CPU, memoria y almacenamiento cumplen cada límite en el entorno de la tarea y en el del verificador.

| CPU | Memoria (MB) | Almacenamiento (MB) | Tareas que cumplen los tres límites |
| ---: | ---: | ---: | ---: |
| 4 | 8.192 | 10.240 | 44 |
| 2 | 16.384 | 20.480 | 44 |

Ejecuta los dos comandos desde la carpeta que contiene el filtro y el censo. En cada informe, los campos `task` de `records` indican los identificadores seleccionados.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

Cuando informes de una puntuación, guarda los identificadores exactos de las tareas junto con la versión del benchmark y la configuración de recursos. Si comparas dos ejecuciones usando las tareas que tienen en común, calcula ambas puntuaciones sobre esa misma lista.

## Método y alcance

Completamos el censo de las declaraciones de configuración de una sola versión el 17 de noviembre de 2026. El análisis abarca esas declaraciones y no mide el rendimiento. La revisión de origen de los datos de Terminal-Bench es `4070d6c`. La revisión del código de Harbor es `ec6aeab` y sus metadatos indican la versión 0.26.0. La [metodología](https://sapien1.com/es/research/terminal-bench-resource-settings/methods.md) incluye los hashes completos, enlaces a las fuentes, reglas de extracción y comandos para reproducir el censo.

El recolector lee el manifiesto oficial y 66 archivos TOML, que en conjunto tienen 85.966 bytes de origen. Conserva por separado los campos de versión y busca alias de recursos antiguos, pasos y bloques de entorno adicionales. En esta versión no encontró pasos ni alias antiguos. Las descargas públicas contienen valores de configuración seleccionados y hashes de las fuentes. Las instrucciones de las tareas, las soluciones y los entornos completos quedan fuera.

Comprobamos de forma independiente el manifiesto, los cálculos y ejemplos del código fuente que cubren un valor atípico, la omisión del campo de GPU y un bloque explícito de verificación. No ejecutamos modelos, contenedores ni tareas del benchmark.

