# Terminal-Bench 的 66 项任务如何配置资源

Terminal-Bench v4.1.0 的 66 项任务声明了不同的资源配置。普查配置文件后发现，31 项任务指定了超过 4,096 MB 的内存，22 项指定了多于 2 个 CPU。我们用 CPU、内存、存储和 GPU 各自最常见的明示值组成一个对照配置。38 项任务的声明值至少有一项超过该配置。这些差异有助于确定构建隔离评估环境时应保留或记录的设置。它们无法预测资源消耗或任务失败。

在新环境中运行同一基准测试时，哪些条件会保留？这取决于任务和运行器的版本、覆盖任务数值的选项，以及执行后端的规则。

## 同一版本包含不同资源量级的任务

我们检查了 2026 年 11 月 3 日发布的 Terminal-Bench v4.1.0 官方清单中的所有任务。普查覆盖该版本的 66 项任务，每项任务都有一个位于固定源代码修订版本的 `task.toml` 文件。同一代码库中还有旧任务和测试辅助文件，本次普查不包含这些内容。[官方版本和清单](https://huggingface.co/datasets/harborframework/terminal-bench)

任务主环境声明的 CPU 数量介于 2 到 16 之间，内存介于 4,096 到 32,768 MB 之间。最常见的 CPU 数量是 2，有 44 项任务如此声明。最常见的内存值是 4,096 MB，有 35 项任务如此声明。其余任务声明了更高的数值。

![66 项任务中明示 CPU 数量和内存容量的频次。CPU 数量为 2 的有 44 项，4 的有 14 项，8 的有 6 项，16 的有 2 项。内存为 4,096 MB 的有 35 项，8,192 MB 的有 22 项，16,384 MB 的有 8 项，32,768 MB 的有 1 项。](https://sapien1.com/research/terminal-bench-resource-settings/figures/zh-Hans/resource-distribution.svg)

图中的两个面板都覆盖相同的 66 个任务环境。数值来自该版本的配置文件。[完整观测数据](https://sapien1.com/research/terminal-bench-resource-settings/census.json)提供每项任务固定修订版本的 URL 和源文件哈希。

团队统一基础设施时，这些差异很重要。统一的环境可以简化调度，但如果运行器不应用各任务的特定设置，部分声明条件就会改变。提供更多硬件也无法自动保留原先声明的较低上限。比较时应看运行器和后端实际执行哪些限制。

## 组合常见数值会改变多项声明

我们分别取四个字段中最常见的明示值，组成对照配置。

| 字段 | 对照配置中的值 |
| --- | ---: |
| CPU 数量 | 2 |
| 内存 | 4,096 MB |
| 存储 | 10,240 MB |
| GPU 数量 | 0 |

这个组合仅用于分析。它并非 Harbor 的默认配置、供应商建议或我们观测到的部署设置。各数值单独来看很常见，完整组合的出现频率可能不同。

我们逐项检查每个任务，确定是否有明示值超过相应的对照值。**66 项中有 38 项**至少一项超出。按字段计，CPU 有 22 项、内存有 31 项、存储有 17 项、GPU 数量有 3 项。这些集合存在重叠，直接相加会重复统计部分任务。[对照结果](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json)包含所有命中任务和各字段命中任务的确切 ID。

剩余 28 项任务的已记录数值没有超过这四个对照值。这并不能证明它们与配置兼容。8 项任务省略了 GPU 数量，普查保留省略状态，未将其记为明示的 0。文件、辅助容器、镜像和服务也可能带来四个字段以外的要求。

对于不使用 GPU 的运行，维护人员在 Terminal-Bench 4.1.0 中提供了[由 63 项任务组成的独立 CPU 专用数据集](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only)。使用 `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` 运行，并将其结果与完整 66 项任务版本的得分分开报告。任务属于该数据集，并不代表它能满足任意给定的 CPU、内存或存储上限。

运行前可查看例外清单，确定改用标准环境会改变哪些设置。

## 运行器和后端共同处理声明值

任务文件只描述评估配置的一部分。为了解明示值如何使用，我们检查了 Harbor 的一个固定修订版本，其[软件包元数据标明版本为 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3)。

在所检查的代码中，单次试验的覆盖选项可以替换任务中的资源值。CPU 和内存策略也可以决定使用或忽略这些值。解析器会将未指定的 CPU、内存和存储值保留为未设置。基础环境会将省略的 GPU 数量按有效值 0 处理。普查保留原始的省略状态，以区分任务写明的设置和运行器的解释。[所检查版本中的 Harbor 环境逻辑](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

后端也会影响结果。所检查的 Docker 适配器会将自动 CPU 和内存策略转换为限制。[它会明确忽略 GPU 型号的选择](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272)，而写入 Compose 资源的代码不会设置存储上限。该版本的 3 项任务明确指定了 H100，但仅凭该字段无法判断 Docker 是否实际分配 H100。同样，仅有 `storage_mb` 的值不能证明 Docker 实施了磁盘限制。现有的 Compose 配置还可能增加约束，其他后端也可能按不同方式处理这些值。[Docker 适配器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [写入 Compose 资源的代码](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

要让评估可复现，应保留声明，并记录所选后端如何处理声明值。请求的设置与实际分配的资源回答的是两个不同的问题。

![评估时应记录的四层信息。固定修订版本的任务声明、运行器版本与覆盖选项、后端资源策略，以及能够观测到的实际分配。](https://sapien1.com/research/terminal-bench-resource-settings/figures/zh-Hans/evaluation-record.svg)

请将请求的设置和观测到的分配分字段记录。

## 分开记录智能体时限和验证器设置

66 个任务文件均明确将智能体的时限设为 28,800 秒，也就是 8 小时。这是配置上限。验证阶段声明的时限为 60 到 18,000 秒，环境构建阶段为 300 到 18,000 秒。估算任务耗时时，应分别看各个阶段。

所检查的运行器可以覆盖时限，并应用最大值和倍数。被检查的函数先应用最大值，再应用倍数。本分析没有将各阶段的上限相加来预测总耗时。[所检查版本的时限确定逻辑](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [各阶段时间预算的计算](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

我们按所检查的 Harbor 版本的规则，计算了 Terminal-Bench v4.1.0 全部 66 个任务的验证时限。我们分别试了将最大值设为 600 秒，以及用 600 秒覆盖原时限。两种设置的倍数都是 1。算出的最长时限都是 600 秒。设置最大值时，原本较短的 28 个时限保持不变。使用覆盖值时，这 28 个时限全部延长到 600 秒。如果想在这种配置下保留较短的时限，请设置最大值并记下所用的设置。 [Harbor 如何选定初始时限](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [Harbor 如何应用最大值和倍数](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

在本地运行的智能体还没达到自己的时限，就可能因为外层作业到时而被停止。比如，某个任务给智能体 8 小时，但如果它在时限为 6 小时的 [GitHub 托管作业](https://docs.github.com/en/actions/reference/limits)里运行，就用不满 8 小时。同一个作业里的准备工作也会占用可用时间。请分别记录作业的时限和智能体的时限。

所有任务都明确选择独立验证。其中 6 项提供了验证器环境配置块。所检查的 Harbor 函数会整体采用显式提供的验证器块，不会逐字段与任务环境合并。如果没有单独的块，则复制任务环境。单次试验的覆盖选项仍可能改变验证器实际使用的配置。[验证器环境的选择](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

即使设置一致，也应单独记录智能体和验证器的设置。选择独立验证本身不能说明实际的资源分配，也不能说明两个环境是否同时消耗资源。

针对名称和路径相同的 66 项任务，我们比较了 Terminal-Bench 4.0 与 4.1 中的 CPU、内存、存储、GPU、时限和验证模式声明。[对比结果](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py)表明，有两项任务的这些字段发生了变化。`distributed-dedup` 的验证器时限从 1,800 秒升至 3,900 秒。`payments-pipeline-fix` 的验证器明示值从 6 个 CPU 和 12,288 MB 增至 8 个 CPU 和 16,384 MB。这些是声明值。[4.1 版本说明](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0)指出，66 项任务都做了修改。仅凭这项范围有限的对比，无法判断指令、镜像或验证器是否等效。

将 [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) 和 [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) 下载到同一个文件夹。使用 Python 3.11 或更高版本，在联网的情况下从该目录运行 `python3 compare-versions.py > comparison.json`。脚本获取固定修订版本的 4.0 注册表和任务元数据，不会执行任务。生成的本地报告保留了来源署名，以及项目要求不将数据纳入训练语料库的说明。

## 改变评估配置时应保留哪些信息

可以将普查结果整理为简明的配置记录。

1. **固定任务集合。** 一并保留发布清单、源代码修订版本和任务路径。整个代码库的文件计数可能包含基准版本之外的内容。
2. **保留原始声明。** 记录明示值和省略的字段，包括独立的验证器设置和各阶段的时限。
3. **记录运行器和覆盖选项。** 保存确切的运行器版本或修订版本，以及替换或缩放任务设置的选项。
4. **检查后端策略。** 确定哪些字段会成为上限、保留量或默认值，以及哪些请求不受支持。
5. **能够观测时，记录实际分配。** 将其与请求的配置及执行期间测得的消耗量分开记录。

如果有意更改上限或资源分配，请把变更与结果一起保存。后续读者便可了解评估条件，并在比较时考虑环境差异。

[配置比较结果](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json)和[分析代码](https://sapien1.com/research/terminal-bench-resource-settings/census.py)便于检查例外。sapien1 在界定[智能体评估](https://sapien1.com/zh-Hans/agent-evaluation)项目范围时，也会以这种方式核对任务和环境。

如需比较其他上限，请将[资源筛选器](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py)和[普查数据](https://sapien1.com/research/terminal-bench-resource-settings/census.json)下载到同一文件夹。例如，`python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` 会列出任务环境和验证器环境中声明值都满足这些限制的任务。输出会保留省略项，无法据此确定任务是否能够运行。Terminal-Bench 要求不将基准测试数据纳入训练语料库。

### 比较不同资源上限选出的任务

两组示例资源上限分别从 Terminal-Bench v4.1.0 的 66 个任务中选出 44 个。两份名单有 36 个共同任务，各有 8 个独有任务。对每组上限，筛选器都会分别检查任务环境和验证环境中声明的 CPU、内存和存储数值。

| CPU 数量 | 内存（MB） | 存储（MB） | 满足三项上限的任务数 |
| ---: | ---: | ---: | ---: |
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |

在存放筛选器和普查数据的文件夹中运行这两条命令。每份报告的 `records` 中，`task` 字段给出选中任务的 ID。

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

报告分数时，请保存准确的任务 ID，并记录基准测试版本和资源设置。如果用共同任务比较两次运行，请基于同一份名单计算两次分数。

## 方法与范围

我们于 2026 年 11 月 17 日完成了一个版本中所有配置声明的普查。普查范围是声明值，不测量性能。Terminal-Bench 数据的源代码修订版本是 `4070d6c`。所检查的 Harbor 修订版本是 `ec6aeab`，在项目元数据中标为 0.26.0。[方法](https://sapien1.com/zh-Hans/research/terminal-bench-resource-settings/methods.md)中提供了完整哈希、源链接、抽取规则以及用于复现普查的命令。

收集脚本读取官方清单和 66 个 TOML 文件，共计 85,966 字节源数据。脚本单独保留版本字段，并检查旧资源别名、步骤和额外的环境块。本次发布中未发现步骤或旧资源别名。公开下载仅包含选定的配置信息和源文件哈希，不包含任务指令、解决方案或完整环境。

我们独立核对了清单中的任务、计算结果和源代码样例，样例包括一个异常值、一个省略的 GPU 字段以及一个显式的验证器块。我们没有运行任何模型、容器或基准测试任务。

