# Censo das configurações de recursos do Terminal-Bench

Criado em: 2026-11-17
Atualizado em: 2026-11-17

## Pergunta e população

Quais declarações específicas de tarefas seriam alteradas por uma única configuração predefinida de sandbox no Terminal-Bench v4.1.0? Este estudo compara configurações publicadas para que equipes de avaliação possam selecionar e documentar uma configuração de ambiente. Ele não estima uso real de recursos, hardware mínimo, preço, tempo de conclusão, desempenho de modelos nem probabilidade de falha.

A população compreende todos os 66 integrantes do manifesto oficial da versão v4.1.0, não todos os arquivos semelhantes a tarefas em seu repositório. A versão foi publicada em 3 de novembro de 2026. Lemos os metadados de configuração em 17 de novembro de 2026. O [cartão oficial do conjunto de dados](https://huggingface.co/datasets/harborframework/terminal-bench) identifica a versão e seu [manifesto](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). O repositório de origem está fixado no commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` em `harbor-framework/terminal-bench`.

O SHA-256 do manifesto é `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. Cada observação inclui um URL de origem fixado e o SHA-256 do `task.toml` de origem completo. Tarefas legadas, arquivos de teste de CI e modelos fora do manifesto da versão são excluídos. Nenhuma tarefa, contêiner, modelo ou script de verificação foi executado.

## Extração

A unidade é uma tarefa do manifesto. O coletor analisa TOML com a biblioteca padrão do Python e registra os valores explícitos de CPU, memória, armazenamento, GPU, tipo de GPU, TPU e prazo de compilação do ambiente de nível superior. Ele preserva os campos omitidos como omitidos. Os prazos do agente e do verificador permanecem separados. Os valores numéricos `1200` e `1200.0` são equivalentes nas contagens resumidas; as observações de origem preservam seus tipos após a análise.

A presença de um bloco de ambiente do verificador é registrada separadamente da presença de campos de recursos. O coletor também mantém schema_version, a versão legada de nível superior e a versão da tarefa separadamente; ele sinaliza aliases legados de recursos, etapas e blocos de ambiente adicionais. Nenhum alias legado de recurso ou etapa foi encontrado nesta versão. 6 tarefas têm blocos explícitos de ambiente do verificador. As observações completas preservam campos selecionados desses blocos; as distribuições principais de CPU/RAM dizem respeito apenas ao ambiente de nível superior da tarefa.

Os 66 arquivos TOML de origem totalizam 85.966 bytes. A extração publicada contém fatos selecionados de configuração, nomes de campos, identificadores de tarefas e hashes das fontes. Ela exclui instruções das tarefas, soluções, testes, informações de contato dos autores e valores de variáveis de ambiente. Os arquivos de origem completos e as imagens do benchmark não são redistribuídos neste pacote.

## Comparação construída

Para cada um dos campos de CPU, memória, armazenamento e quantidade de GPUs, selecionamos o valor explícito mais frequente nas 66 declarações de ambiente de nível superior: 2 CPUs, 4.096 MB de memória, 10.240 MB de armazenamento e 0 GPUs. A combinação desses valores cria nossa configuração predefinida de comparação. Ela não é uma configuração padrão do Harbor, uma recomendação de fornecedor nem uma configuração de avaliação observada.

Uma tarefa entra no conjunto “acima da configuração predefinida de comparação” se pelo menos um valor numérico explicitamente presente for maior que o valor correspondente da configuração. Consideramos a união dos identificadores de tarefas, não a soma das contagens por campo. Valores de GPU ausentes não são contados como zero nem geram uma exceção positiva. As 8 tarefas com quantidade de GPUs omitida continuam identificáveis nos dados de origem. A união de 38 tarefas mede uma diferença nas declarações; ela não prevê se a tarefa pode ser executada ou aprovada em qualquer configuração predefinida.

Também contamos padrões distintos de declaração de CPU, memória, armazenamento, quantidade de GPUs, tipo de GPU e TPU, excluindo prazos. A contagem bruta é de 27 padrões. Definir como zero a quantidade de GPUs omitida reduz essa contagem para 22. Por causa dessa sensibilidade, o artigo prioriza campos de recursos individuais e uma comparação transparente, em vez de apresentar a contagem de padrões como uma contagem de requisitos de hardware.

## Interpretação do executor

Revisamos o código-fonte do Harbor no commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, cujos metadados do projeto identificam a versão 0.26.0. Estes são resultados da leitura do código, não de uma validação executada de todas as tarefas ou backends.

- O [analisador de tarefas](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) permite valores nulos nas contagens de CPU, memória, armazenamento e GPU e migra strings legadas de memória e armazenamento. Seu campo de versão do esquema é uma string; o caminho de migração de versão, por si só, não estabelece que todas as tarefas possam ser executadas.
- O [ambiente base](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) aplica substituições da execução. A quantidade de GPUs omitida é resolvida como zero nessa etapa; políticas para ignorar CPU/memória podem suprimir esses valores. Mantemos as omissões no conjunto de dados mesmo quando esse executor mapeia uma delas para um valor.
- O [resolvedor do verificador](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) usa um ambiente do verificador fornecido como um todo; caso contrário, copia o ambiente da tarefa. Ele não combina um bloco explícito do verificador campo a campo com as configurações do agente. A [criação da execução](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) ainda transmite as substituições de ambiente.
- O [adaptador Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) mapeia políticas automáticas de CPU/memória para limites e ignora explicitamente a seleção do tipo de GPU. Seu [gravador de recursos do Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) grava restrições de CPU, memória e quantidade de GPUs, mas não um limite de armazenamento. Configurações existentes do Compose e outros provedores podem se comportar de outra forma.
- A [resolução de prazos](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) e o [cálculo dos limites de tempo](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) permitem substituições, valores máximos e multiplicadores. As declarações de prazo do agente, do verificador e da compilação não são durações observadas. Não se afirma que sua soma seja um limite para a duração total da execução.

O censo não examina todos os Dockerfiles, sidecars do Compose, imagens ou serviços externos. Eles podem acrescentar requisitos e restrições de recursos fora dos campos de configuração de nível superior. Este estudo não permite concluir nada sobre a validade do benchmark ou mudanças nas pontuações.

## Reprodução

Com Python 3.11 ou posterior, execute `python3 census.py` para gerar novamente `census-results.json` a partir de `census.json` fornecido. Execute `python3 census.py --collect` para buscar novamente o manifesto fixado e todos os 66 arquivos TOML fixados antes da análise. O coletor usa no máximo 3 leituras simultâneas, limita o manifesto a 300 KB e cada tarefa a 100 KB e falha se os integrantes do manifesto ou seu hash fixado forem diferentes. Ele não modifica recursos do fornecedor nem executa código baixado.

Execute `python3 render-assets.py` para gerar novamente as 2 figuras SVG originais. A geração das figuras usa ReportLab; os arquivos mestres publicados foram renderizados com ReportLab 4.4.9 e Python 3.12.14. A figura de distribuição lê os resultados da análise diretamente. A segunda figura é um diagrama do registro de configuração criado pelos autores, não dados empíricos. Ambos os SVGs mantêm texto, títulos acessíveis e descrições.

O benchmark de origem usa a [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). Os direitos autorais das fontes permanecem com seus autores. Este pacote contém uma extração factual selecionada e uma análise original da Sapien1; ele não concede direitos sobre recursos de tarefas ou conteúdo de contêineres de terceiros.
