# Terminal-Bench 资源设置普查

创建：2026-11-17
更新：2026-11-17

## 问题与总体

在 Terminal-Bench v4.1.0 中，统一的沙箱预设会改变哪些任务专属声明？本研究比较已发布的设置，帮助评估团队选择并记录环境配置。研究不估计实际资源使用量、最低硬件要求、价格、完成时间、模型表现或失败概率。

研究总体是官方 v4.1.0 发布清单中的全部 66 个任务，而非其代码仓库中每个类似任务的文件。该版本发布于 2026 年 11 月 3 日。我们于 2026 年 11 月 17 日读取配置元数据。[官方数据集卡](https://huggingface.co/datasets/harborframework/terminal-bench)标识了该版本及其[清单](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json)。源代码仓库在 `harbor-framework/terminal-bench` 中固定于提交 `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440`。

清单的 SHA-256 为 `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`。每条观察记录都包含固定版本的来源网址和完整源文件 `task.toml` 的 SHA-256。发布清单之外的旧版任务、CI 固定测试资源和模板均被排除。研究未运行任何任务、容器、模型或验证脚本。

## 提取

研究单元是清单中的一个任务。收集程序使用 Python 标准库解析 TOML，并记录明确写出的顶层环境 CPU、内存、存储、GPU、GPU 类型、TPU 和构建超时值。省略的字段保持为省略。智能体和验证器的超时值分别记录。汇总计数时，数值 `1200` 和 `1200.0` 视为等同；来源观察记录保留解析后的类型。

验证器环境块是否存在，与资源字段是否存在分开记录。收集程序还分别保留 schema_version、旧版顶层 version 和任务 version，并标记旧版资源别名、步骤和其他环境块。本版本未发现旧版资源别名或步骤。6 个任务明确包含验证器环境块。完整观察记录保留了这些块的选定字段；主要 CPU／RAM 分布仅涉及任务的顶层环境。

66 个源 TOML 文件共计 85,966 字节。公开的提取结果包含选定配置事实、字段名、任务标识符和源文件哈希值，不包含任务说明、解决方案、测试、作者联系信息或环境变量值。此包不重新分发完整源文件和基准测试镜像。

## 构建的比较方案

对于 CPU、内存、存储和 GPU 数量，我们分别选取 66 个顶层环境声明中出现频率最高的明确值：2 个 CPU、4,096 MB 内存、10,240 MB 存储和 0 个 GPU。组合这些值构成我们的比较预设。它不是 Harbor 默认值、供应商建议或观察到的评估配置。

如果任务至少有一个明确存在的数值大于对应预设值，该任务就进入“高于比较预设”的集合。我们取任务标识符的并集，而非将各字段的计数相加。缺失的 GPU 值既不计为零，也不会使任务被计为超出预设。源数据仍可识别 8 个省略 GPU 数量的任务。包含 38 个任务的并集衡量的是声明值的差异，不能预测任务在任何预设下能否运行或通过。

我们还统计了 CPU、内存、存储、GPU 数量、GPU 类型和 TPU 的不同声明模式，超时设置不计入。原始模式数为 27。将省略的 GPU 数量设为零后，模式数降至 22。由于这一结果对处理方式敏感，文章以各资源字段和透明的比较为重点，而未将模式数当作硬件需求数量。

## 对运行器的解读

我们审查了提交 `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` 处的 Harbor 源代码，其项目元数据标明版本为 0.26.0。这些结果来自代码阅读，并非对所有任务或后端执行验证所得。

- [任务解析器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435)允许 CPU、内存、存储和 GPU 数量为空，并迁移旧版内存／存储字符串。其 schema-version 字段是字符串；版本迁移路径本身不能证明每个任务都能执行。
- [基础环境](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)应用试运行覆盖设置。省略的 GPU 数量在此处解析为零；CPU／内存忽略策略可以使这些值不生效。即使运行器将某个省略值映射为具体值，我们的数据集仍保留省略状态。
- [验证器解析器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)将提供的验证器环境作为整体使用；否则复制任务环境。它不会将明确提供的验证器块逐字段与智能体设置合并。[试运行创建过程](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104)仍会传递环境覆盖设置。
- [Docker 适配器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568)将自动 CPU／内存策略映射为限制，并明确忽略 GPU 类型选择。其 [Compose 资源写入器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)写入 CPU、内存和 GPU 数量约束，不写入存储上限。现有 Compose 配置和其他提供方的行为可能不同。
- [超时解析](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695)和[预算计算](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)允许使用覆盖值、最大值和乘数。智能体、验证器和构建超时声明不是观察到的持续时间。研究也未声称这些值之和是试运行总时长的上限。

本次普查未检查每个 Dockerfile、Compose sidecar、镜像或外部服务。它们可能在顶层配置字段之外增加资源要求和约束。本研究不能得出有关基准测试有效性或分数变化的结论。

## 复现

使用 Python 3.11 或更高版本，运行 `python3 census.py`，根据提供的 `census.json` 重新生成 `census-results.json`。运行 `python3 census.py --collect` 可在分析前重新获取固定清单和全部 66 个固定版本的 TOML 文件。收集程序同时读取的文件不超过 3 个，将清单限制为 300 KB、每个任务文件限制为 100 KB；如果清单成员或固定清单哈希值不一致，程序会报错终止。程序不会修改提供方系统，也不会执行下载的代码。

运行 `python3 render-assets.py` 可重新生成 2 张原创 SVG 图。图表生成使用 ReportLab；发布的母版使用 ReportLab 4.4.9 和 Python 3.12.14 渲染。分布图直接读取分析结果。第二张图是作者创建的配置记录示意图，并非实证数据。两张 SVG 均保留文本、无障碍标题和描述。

源基准测试采用 [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE)。源材料的版权仍归其作者所有。此包包含 Sapien1 选取的事实性提取结果和原创分析，不授予对第三方任务资产或容器内容的权利。
