研究
Terminal-Bench 的 66 项任务如何配置资源
Terminal-Bench v4.1.0 的 66 项任务声明了不同的资源配置。普查配置文件后发现,31 项任务指定了超过 4,096 MB 的内存,22 项指定了多于 2 个 CPU。我们用 CPU、内存、存储和 GPU 各自最常见的明示值组成一个对照配置。38 项任务的声明值至少有一项超过该配置。这些差异有助于确定构建隔离评估环境时应保留或记录的设置。它们无法预测资源消耗或任务失败。
在新环境中运行同一基准测试时,哪些条件会保留?这取决于任务和运行器的版本、覆盖任务数值的选项,以及执行后端的规则。
同一版本包含不同资源量级的任务
我们检查了 2026 年 11 月 3 日发布的 Terminal-Bench v4.1.0 官方清单中的所有任务。普查覆盖该版本的 66 项任务,每项任务都有一个位于固定源代码修订版本的 task.toml 文件。同一代码库中还有旧任务和测试辅助文件,本次普查不包含这些内容。官方版本和清单
任务主环境声明的 CPU 数量介于 2 到 16 之间,内存介于 4,096 到 32,768 MB 之间。最常见的 CPU 数量是 2,有 44 项任务如此声明。最常见的内存值是 4,096 MB,有 35 项任务如此声明。其余任务声明了更高的数值。
图中的两个面板都覆盖相同的 66 个任务环境。数值来自该版本的配置文件。完整观测数据提供每项任务固定修订版本的 URL 和源文件哈希。
团队统一基础设施时,这些差异很重要。统一的环境可以简化调度,但如果运行器不应用各任务的特定设置,部分声明条件就会改变。提供更多硬件也无法自动保留原先声明的较低上限。比较时应看运行器和后端实际执行哪些限制。
组合常见数值会改变多项声明
我们分别取四个字段中最常见的明示值,组成对照配置。
| 字段 | 对照配置中的值 |
|---|---|
| CPU 数量 | 2 |
| 内存 | 4,096 MB |
| 存储 | 10,240 MB |
| GPU 数量 | 0 |
这个组合仅用于分析。它并非 Harbor 的默认配置、供应商建议或我们观测到的部署设置。各数值单独来看很常见,完整组合的出现频率可能不同。
我们逐项检查每个任务,确定是否有明示值超过相应的对照值。66 项中有 38 项至少一项超出。按字段计,CPU 有 22 项、内存有 31 项、存储有 17 项、GPU 数量有 3 项。这些集合存在重叠,直接相加会重复统计部分任务。对照结果包含所有命中任务和各字段命中任务的确切 ID。
剩余 28 项任务的已记录数值没有超过这四个对照值。这并不能证明它们与配置兼容。8 项任务省略了 GPU 数量,普查保留省略状态,未将其记为明示的 0。文件、辅助容器、镜像和服务也可能带来四个字段以外的要求。
对于不使用 GPU 的运行,维护人员在 Terminal-Bench 4.1.0 中提供了由 63 项任务组成的独立 CPU 专用数据集。使用 harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 运行,并将其结果与完整 66 项任务版本的得分分开报告。任务属于该数据集,并不代表它能满足任意给定的 CPU、内存或存储上限。
运行前可查看例外清单,确定改用标准环境会改变哪些设置。
运行器和后端共同处理声明值
任务文件只描述评估配置的一部分。为了解明示值如何使用,我们检查了 Harbor 的一个固定修订版本,其软件包元数据标明版本为 0.26.0。
在所检查的代码中,单次试验的覆盖选项可以替换任务中的资源值。CPU 和内存策略也可以决定使用或忽略这些值。解析器会将未指定的 CPU、内存和存储值保留为未设置。基础环境会将省略的 GPU 数量按有效值 0 处理。普查保留原始的省略状态,以区分任务写明的设置和运行器的解释。所检查版本中的 Harbor 环境逻辑
后端也会影响结果。所检查的 Docker 适配器会将自动 CPU 和内存策略转换为限制。它会明确忽略 GPU 型号的选择,而写入 Compose 资源的代码不会设置存储上限。该版本的 3 项任务明确指定了 H100,但仅凭该字段无法判断 Docker 是否实际分配 H100。同样,仅有 storage_mb 的值不能证明 Docker 实施了磁盘限制。现有的 Compose 配置还可能增加约束,其他后端也可能按不同方式处理这些值。Docker 适配器 · 写入 Compose 资源的代码
要让评估可复现,应保留声明,并记录所选后端如何处理声明值。请求的设置与实际分配的资源回答的是两个不同的问题。
请将请求的设置和观测到的分配分字段记录。
分开记录智能体时限和验证器设置
66 个任务文件均明确将智能体的时限设为 28,800 秒,也就是 8 小时。这是配置上限。验证阶段声明的时限为 60 到 18,000 秒,环境构建阶段为 300 到 18,000 秒。估算任务耗时时,应分别看各个阶段。
所检查的运行器可以覆盖时限,并应用最大值和倍数。被检查的函数先应用最大值,再应用倍数。本分析没有将各阶段的上限相加来预测总耗时。所检查版本的时限确定逻辑 · 各阶段时间预算的计算
我们按所检查的 Harbor 版本的规则,计算了 Terminal-Bench v4.1.0 全部 66 个任务的验证时限。我们分别试了将最大值设为 600 秒,以及用 600 秒覆盖原时限。两种设置的倍数都是 1。算出的最长时限都是 600 秒。设置最大值时,原本较短的 28 个时限保持不变。使用覆盖值时,这 28 个时限全部延长到 600 秒。如果想在这种配置下保留较短的时限,请设置最大值并记下所用的设置。 Harbor 如何选定初始时限 · Harbor 如何应用最大值和倍数
在本地运行的智能体还没达到自己的时限,就可能因为外层作业到时而被停止。比如,某个任务给智能体 8 小时,但如果它在时限为 6 小时的 GitHub 托管作业里运行,就用不满 8 小时。同一个作业里的准备工作也会占用可用时间。请分别记录作业的时限和智能体的时限。
所有任务都明确选择独立验证。其中 6 项提供了验证器环境配置块。所检查的 Harbor 函数会整体采用显式提供的验证器块,不会逐字段与任务环境合并。如果没有单独的块,则复制任务环境。单次试验的覆盖选项仍可能改变验证器实际使用的配置。验证器环境的选择
即使设置一致,也应单独记录智能体和验证器的设置。选择独立验证本身不能说明实际的资源分配,也不能说明两个环境是否同时消耗资源。
针对名称和路径相同的 66 项任务,我们比较了 Terminal-Bench 4.0 与 4.1 中的 CPU、内存、存储、GPU、时限和验证模式声明。对比结果表明,有两项任务的这些字段发生了变化。distributed-dedup 的验证器时限从 1,800 秒升至 3,900 秒。payments-pipeline-fix 的验证器明示值从 6 个 CPU 和 12,288 MB 增至 8 个 CPU 和 16,384 MB。这些是声明值。4.1 版本说明指出,66 项任务都做了修改。仅凭这项范围有限的对比,无法判断指令、镜像或验证器是否等效。
将 compare-versions.py 和 census.json 下载到同一个文件夹。使用 Python 3.11 或更高版本,在联网的情况下从该目录运行 python3 compare-versions.py > comparison.json。脚本获取固定修订版本的 4.0 注册表和任务元数据,不会执行任务。生成的本地报告保留了来源署名,以及项目要求不将数据纳入训练语料库的说明。
改变评估配置时应保留哪些信息
可以将普查结果整理为简明的配置记录。
- 固定任务集合。 一并保留发布清单、源代码修订版本和任务路径。整个代码库的文件计数可能包含基准版本之外的内容。
- 保留原始声明。 记录明示值和省略的字段,包括独立的验证器设置和各阶段的时限。
- 记录运行器和覆盖选项。 保存确切的运行器版本或修订版本,以及替换或缩放任务设置的选项。
- 检查后端策略。 确定哪些字段会成为上限、保留量或默认值,以及哪些请求不受支持。
- 能够观测时,记录实际分配。 将其与请求的配置及执行期间测得的消耗量分开记录。
如果有意更改上限或资源分配,请把变更与结果一起保存。后续读者便可了解评估条件,并在比较时考虑环境差异。
配置比较结果和分析代码便于检查例外。sapien1 在界定智能体评估项目范围时,也会以这种方式核对任务和环境。
如需比较其他上限,请将资源筛选器和普查数据下载到同一文件夹。例如,python3 filter-census.py --cpus 4 --memory-mb 8192 --status within 会列出任务环境和验证器环境中声明值都满足这些限制的任务。输出会保留省略项,无法据此确定任务是否能够运行。Terminal-Bench 要求不将基准测试数据纳入训练语料库。
比较不同资源上限选出的任务
两组示例资源上限分别从 Terminal-Bench v4.1.0 的 66 个任务中选出 44 个。两份名单有 36 个共同任务,各有 8 个独有任务。对每组上限,筛选器都会分别检查任务环境和验证环境中声明的 CPU、内存和存储数值。
| CPU 数量 | 内存(MB) | 存储(MB) | 满足三项上限的任务数 |
|---|---|---|---|
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |
在存放筛选器和普查数据的文件夹中运行这两条命令。每份报告的 records 中,task 字段给出选中任务的 ID。
python3 filter-census.py --cpus 4 --memory-mb 8192 \
--storage-mb 10240 --phases both --status within > ceiling-4cpu.json
python3 filter-census.py --cpus 2 --memory-mb 16384 \
--storage-mb 20480 --phases both --status within > ceiling-2cpu.json
报告分数时,请保存准确的任务 ID,并记录基准测试版本和资源设置。如果用共同任务比较两次运行,请基于同一份名单计算两次分数。
方法与范围
我们于 2026 年 11 月 17 日完成了一个版本中所有配置声明的普查。普查范围是声明值,不测量性能。Terminal-Bench 数据的源代码修订版本是 4070d6c。所检查的 Harbor 修订版本是 ec6aeab,在项目元数据中标为 0.26.0。方法中提供了完整哈希、源链接、抽取规则以及用于复现普查的命令。
收集脚本读取官方清单和 66 个 TOML 文件,共计 85,966 字节源数据。脚本单独保留版本字段,并检查旧资源别名、步骤和额外的环境块。本次发布中未发现步骤或旧资源别名。公开下载仅包含选定的配置信息和源文件哈希,不包含任务指令、解决方案或完整环境。
我们独立核对了清单中的任务、计算结果和源代码样例,样例包括一个异常值、一个省略的 GPU 字段以及一个显式的验证器块。我们没有运行任何模型、容器或基准测试任务。