# Terminal-Bench 資源設定普查

建立日期：2026-11-17
更新日期：2026-11-17

## 問題與母體

在 Terminal-Bench v4.1.0 中，單一沙箱預設組態會改變哪些任務專屬宣告？本研究比較已發布的設定，協助評估團隊選擇並記錄環境組態。研究不估算實際資源使用量、最低硬體需求、價格、完成時間、模型表現或失敗機率。

研究母體為官方 v4.1.0 版本清單中的全部 66 個成員，並非其儲存庫中每個類似任務的檔案。該版本於 2026 年 11 月 3 日發布。我們於 2026 年 11 月 17 日讀取組態中繼資料。[官方資料集卡](https://huggingface.co/datasets/harborframework/terminal-bench)列出該版本及其[清單](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json)。來源儲存庫固定為 `harbor-framework/terminal-bench` 中的 commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440`。

清單的 SHA-256 為 `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`。每筆觀察紀錄均包含固定版本的來源網址，以及完整來源 `task.toml` 的 SHA-256。版本清單之外的舊版任務、CI 測試資料與範本均予排除。研究未執行任何任務、容器、模型或驗證指令碼。

## 擷取

分析單位為清單中的 1 項任務。蒐集程式使用 Python 標準函式庫解析 TOML，並記錄頂層環境中明確宣告的 CPU 數量、記憶體、儲存空間、GPU 數量、GPU 類型、TPU 與建置逾時值。省略的欄位維持省略。代理程式與驗證器的逾時值分開保留。數值 `1200` 與 `1200.0` 在彙總計數中視為等同；來源觀察紀錄保留其解析後的型別。

驗證器環境區塊是否存在，與資源欄位是否存在分開記錄。蒐集程式也分別保留 schema_version、舊版頂層 version 與任務版本，並標記舊版資源別名、步驟及額外環境區塊。此版本未發現舊版資源別名或步驟。6 項任務明確設有驗證器環境區塊。完整觀察紀錄保留這些區塊的選定欄位；主要 CPU／記憶體分布僅涉及任務的頂層環境。

66 個來源 TOML 檔案共 85,966 位元組。已發布的擷取資料包含選定的組態事實、欄位名稱、任務識別碼與來源雜湊值，不包含任務指示、解答、測試、作者聯絡資訊或環境變數值。本套件不重新散布完整來源檔案或基準測試映像檔。

## 建立比較組態

針對 CPU、記憶體、儲存空間與 GPU 數量，我們分別選取 66 個頂層環境宣告中最常出現的明確數值：2 個 CPU、4,096 MB 記憶體、10,240 MB 儲存空間及 0 個 GPU。組合這些數值後形成比較用預設組態。這不是 Harbor 預設值、供應商建議，也不是觀察到的評估設定。

只要任一明確存在的數值高於預設組態中相應的值，該任務就納入「高於比較用預設組態」的集合。我們計算任務識別碼的聯集，而非加總各欄位的數量。缺漏的 GPU 值既不計為零，也不構成高於預設值的情況。GPU 數量遭省略的 8 項任務仍可在來源資料中辨識。包含 38 項任務的聯集衡量的是宣告差異，無法預測任務在任何預設組態下是否能執行或通過。

我們也計算 CPU、記憶體、儲存空間、GPU 數量、GPU 類型及 TPU 的不同宣告組合，逾時值不列入。原始組合數為 27；將省略的 GPU 數量設為零後降為 22。由於結果對此設定敏感，文章以個別資源欄位及透明的比較為主，而非將組合數呈現為硬體需求數量。

## 執行工具的處理方式

我們審查了 commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` 的 Harbor 原始碼，其專案中繼資料標示版本為 0.26.0。以下是閱讀程式碼的結果，並非對所有任務或後端執行驗證所得。

- [任務解析器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435)允許 CPU、記憶體、儲存空間與 GPU 數量為 null，並遷移舊版記憶體／儲存空間字串。其 schema-version 欄位為字串；版本遷移路徑本身不能證明每項任務都能執行。
- [基礎環境](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)會套用試驗的覆寫設定。其中，省略的 GPU 數量會解析為零；CPU／記憶體忽略政策可使其數值不被套用。即使此執行工具將某個省略值對應到具體數值，資料集仍保留省略狀態。
- [驗證器環境解析器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)會整體使用所提供的驗證器環境；若未提供，則複製任務環境。它不會將明確提供的驗證器區塊逐欄位與代理程式設定合併。[建立試驗](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104)時仍會傳入環境覆寫設定。
- [Docker 介接器](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568)將自動 CPU／記憶體政策對應為限制，並明確忽略 GPU 類型選擇。其 [Compose 資源寫入程式](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)會寫入 CPU、記憶體與 GPU 數量限制，但不會設定儲存空間上限。現有 Compose 組態及其他提供者的行為可能不同。
- [逾時值解析](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695)與[預算計算](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)允許覆寫、最大值與乘數。代理程式、驗證器與建置逾時宣告並非觀察到的持續時間。本研究不主張其總和為試驗總時間的上限。

本普查未檢查每個 Dockerfile、Compose sidecar、映像檔或外部服務。這些項目可能增加頂層組態欄位之外的資源需求與限制。本研究不對基準測試的有效性或分數變化作出結論。

## 重現

使用 Python 3.11 或更新版本執行 `python3 census.py`，以提供的 `census.json` 重新產生 `census-results.json`。執行 `python3 census.py --collect` 可在分析前重新擷取固定版本的清單及全部 66 個固定版本的 TOML 檔案。蒐集程式同時最多讀取 3 個來源，將清單大小限制為 300 KB、每個任務檔案限制為 100 KB；若清單成員或固定的清單雜湊值不符，程式即告失敗。程式不會變更提供者端資料，也不會執行下載的程式碼。

執行 `python3 render-assets.py` 可重新產生 2 張原創 SVG 圖表。圖表產生程序使用 ReportLab；已發布的原始圖檔以 ReportLab 4.4.9 和 Python 3.12.14 繪製。分布圖直接讀取分析結果。第 2 張圖是作者建立的組態紀錄示意圖，並非實證資料。2 張 SVG 均保留文字、無障礙標題與描述。

來源基準測試採用 [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE)。來源著作權仍屬其作者。本套件包含 Sapien1 選取的事實擷取資料與原創分析；不授予第三方任務資產或容器內容的權利。
