跳至主要內容

選單

研究

Terminal-Bench 的 66 項任務如何設定資源

語言: 繁體中文(台灣)

Terminal-Bench v4.1.0 的 66 項任務採用不同的資源設定。盤點組態檔後,有 31 項任務宣告超過 4,096 MB 的記憶體,22 項宣告超過 2 個 CPU。我們從 CPU、記憶體、儲存空間和 GPU 各欄位取出最常明確填寫的數值,組成比較用的組態。有 38 項任務至少一個宣告值超過組態中的對應數值。這些差異可用來判斷建立隔離的評估環境時,哪些設定應該保留或記錄。它們無法預測資源用量或任務是否失敗。

如果換一個環境執行相同的基準測試,哪些條件會保留?這取決於任務版本、執行工具的版本、覆寫數值的選項,以及執行後端的規則。

此版本包含不同資源規模的任務

我們查閱了 Terminal-Bench v4.1.0 於 2026 年 11 月 3 日推出時的官方資訊清單,檢查其中全部 66 項任務。每項任務都有一個位於固定原始碼修訂版本的 task.toml 檔案。儲存庫另有先前的任務與測試輔助檔案,這次未納入盤點。官方版本和資訊清單

主要環境宣告使用 2 到 16 個 CPU,以及 4,096 到 32,768 MB 的記憶體。最常見的 CPU 數量是 2,有 44 項任務這樣設定。記憶體最常見的設定值是 4,096 MB,有 35 項任務採用。其他任務宣告了更高的數值。

66 項任務明確指定 CPU 數量和記憶體大小的次數。CPU 數量為 2 的有 44 項、4 的有 14 項、8 的有 6 項、16 的有 2 項。記憶體為 4,096 MB 的有 35 項、8,192 MB 的有 22 項、16,384 MB 的有 8 項、32,768 MB 的有 1 項。
檢視原尺寸圖片

圖中兩部分使用相同的 66 個任務環境。數值取自此版本的組態檔。完整觀測資料列出每項任務在固定修訂版本的網址和來源檔案的雜湊值。

團隊想統一基礎架構時,這些差異就很重要。統一環境有助於安排執行時程,但如果執行工具沒有套用各任務的專屬設定,部分宣告條件就會改變。可用硬體增加時,原先宣告的較低上限也不會自動保留。比較時要確認執行工具和後端實際如何限制資源。

把常見數值組合起來會改變多項宣告

為了比較環境,我們將四個欄位各自最常明確填寫的數值放進同一份組態。

欄位比較組態的數值
CPU 數量2
記憶體4,096 MB
儲存空間10,240 MB
GPU 數量0

這份組態是為分析而設計的,不代表 Harbor 預設設定、廠商建議或實際觀測到的部署。各數值單獨看都很常見,但完整組合出現的頻率可能不同。

我們逐一檢查每項任務有沒有明確填寫的數值高於對應的比較值。結果是 66 項中有 38 項。按欄位計算,CPU 有 22 項,記憶體有 31 項,儲存空間有 17 項,GPU 數量有 3 項。各組會重疊,直接加總會重複計入部分任務。比較結果提供所有符合條件的任務 ID,以及各欄位的確切任務 ID。

剩下 28 項任務的已記錄數值都沒有超過這四項比較值,這仍不足以證明它們可以使用這份組態。8 項任務沒有填寫 GPU 數量,盤點保留未填寫的記錄,不把它登記成宣告的 0。檔案、輔助容器、映像檔和服務也可能帶來四個欄位以外的需求。

如需在沒有 GPU 的情況下執行,維護團隊在 Terminal-Bench 4.1.0 提供了包含 63 項任務的 CPU 專用資料集。使用 harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 執行,並分開報告這份資料集和完整 66 項任務版本的成績。任務收錄在這份資料集,並不表示它一定符合某個 CPU、記憶體或儲存空間上限。

可在執行前查閱例外清單,確認改用標準環境後會影響哪些設定。

執行工具和後端如何處理宣告值

任務檔案只描述評估組態的一部分。為了確認宣告的用途,我們查閱 Harbor 在固定修訂版本的原始碼,該修訂版本的套件中繼資料標示為 0.26.0。

在查閱的程式碼中,單次試驗的選項可覆寫任務中的資源數值。CPU 和記憶體政策也會決定要套用或忽略這些數值。剖析器會將未填寫的 CPU、記憶體和儲存空間維持為未設定。基礎環境會把沒有填寫的 GPU 數量當成實效值 0。盤點保留原有的省略狀態,可以分辨任務的設定和執行工具的解讀。所查閱修訂版本的 Harbor 環境邏輯

執行後端也會左右結果。我們所查閱的 Docker 介接程式可把自動 CPU 和記憶體政策轉成限制。它明確忽略 GPU 型號選擇,而寫入 Compose 資源的程式碼不會設定儲存空間上限。3 項任務明確填了 H100,但單憑這個欄位,無法得知 Docker 是否會實際分配 H100。同樣地,只看 storage_mb 無法確認 Docker 有磁碟上限。既有 Compose 組態可能另外限制資源,其他後端也可能有所不同。Docker 介接程式 · 寫入 Compose 資源的程式碼

若要重現評估,請保留原始宣告,並記下所選後端實際如何處理。請求的設定和真正分配的資源能回答不同問題。

評估時要記錄的四項資訊。固定修訂版本的任務宣告、執行工具版本和覆寫選項、後端資源政策,以及可觀測時的實際配置。
檢視原尺寸圖片

請分別記錄請求的設定與觀測到的資源分配。

分開記錄代理程式和驗證器的時間上限與設定

66 份任務檔案都明確將代理程式的時間上限設為 28,800 秒,也就是 8 小時。這是設定的上限。驗證階段宣告的時間上限為 60 至 18,000 秒,建置環境的上限為 300 至 18,000 秒。估算任務所需時間時,請分開看各階段。

所查閱的執行工具可覆寫時間上限,也可套用最大值和倍率。在查閱的函式中,最大值早於倍率套用。這項分析並未將各階段上限相加以預估總經過時間。所查閱修訂版本的時間上限處理 · 各階段時間預算的計算

我們依照所查閱的 Harbor 版本規則,計算了 Terminal-Bench v4.1.0 全部 66 項任務的驗證時間上限。我們分別測試了將最大值設為 600 秒,以及用 600 秒覆寫原本的時間上限。兩種設定的倍率都是 1。算出的最長時間上限都是 600 秒。使用最大值時,原本較短的 28 項時間上限維持不變。覆寫時,這 28 項時間上限全都延長到 600 秒。如果想在這個配置下保留較短的時間上限,請使用最大值並記下採用的設定。 Harbor 如何選擇初始的時間上限 · Harbor 如何套用最大值和倍率

在本機執行的代理程式,可能還沒達到自己的時間上限,就先因外層工作逾時而停止。舉例來說,即使任務給代理程式 8 小時,如果它在上限為 6 小時的 GitHub 託管工作內執行,就無法用滿 8 小時。同一個工作裡的準備也會占用可用時間。請分開記錄工作的時間上限和代理程式的時間上限。

所有任務都明確選擇分開驗證,其中 6 項提供驗證器環境區塊。所查閱的 Harbor 函式會整體採用明確提供的驗證器區塊,不會逐欄位與任務環境合併。如果沒有設定獨立區塊,系統會複製任務環境。試驗層級的選項仍可能改變驗證器實際使用的組態。選取驗證器環境的邏輯

即使設定相同,也請分開記錄代理程式和驗證器的設定。單憑「分開驗證」看不出實際分配的資源,像是兩個環境是否同時消耗資源。

針對名稱和路徑相同的 66 項任務,我們比較了 Terminal-Bench 4.0 和 4.1 的 CPU、記憶體、儲存空間、GPU、時間上限和驗證模式宣告。比較發現,其中兩項任務的這些欄位有變更。distributed-dedup 的驗證器時間上限從 1,800 秒提高至 3,900 秒。payments-pipeline-fix 的驗證器明示值從 6 個 CPU、12,288 MB 增加到 8 個 CPU、16,384 MB。這些都是宣告值。4.1 版本說明指出全部 66 項任務都有改動。這項限定欄位的比較無法確認它們的指示、映像檔或驗證器是否等同。

把 compare-versions.py 和 census.json 下載到同一個資料夾。備妥 Python 3.11 或更新版本和網路連線,再從該資料夾執行 python3 compare-versions.py > comparison.json。指令碼會取得固定修訂版本的 4.0 登錄資料和任務中繼資料,過程中不執行任務。產生的本機報告保留來源標記和專案不希望資料納入訓練語料的要求。

評估組態有變動時應保留的資訊

可以根據盤點結果做一份精簡的組態記錄。

  1. 固定任務集合。 一併保存發布資訊清單、原始碼修訂版本和任務路徑。整個儲存庫的檔案數可能包含發布版本以外的資料。
  2. 保留原始宣告。 記下明確指定和省略的數值,包括獨立的驗證器設定與各階段時間上限。
  3. 記錄執行工具和覆寫選項。 保存確切版本或修訂版本,並記下哪些選項會替換任務設定或調整比例。
  4. 確認後端政策。 找出哪些欄位會用作上限、資源保留量或預設值,以及哪些要求不受支援。
  5. 觀測得到時,記錄實際資源分配。 將這項資訊與請求的組態,以及執行時量測到的資源用量分開。

若刻意變更上限或資源分配,請把變更隨同結果記錄下來。後續讀者可以據此了解評估條件,並在比較時納入各環境間的差異。

組態比較和分析程式碼可用來查看例外。sapien1 在界定代理程式評估專案的範圍時,也會以這種方式檢查任務和環境。

如需比較其他上限,請將資源篩選工具和盤點資料下載到同一個資料夾。例如,執行 python3 filter-census.py --cpus 4 --memory-mb 8192 --status within 會列出任務環境與驗證器環境的宣告值都符合這些上限的任務。輸出會保留省略項目,無法據此判斷任務能否執行。Terminal-Bench 要求基準測試資料不要納入訓練語料。

比較不同資源上限選出的任務

兩組範例資源上限各從 Terminal-Bench v4.1.0 的 66 項任務中選出 44 項。兩份清單有 36 項相同,每份另有 8 項未出現在另一份清單上。對每組上限,篩選工具會分別檢查任務環境與驗證環境中宣告的 CPU、記憶體及儲存空間數值。

CPU 數量記憶體(MB)儲存空間(MB)三項數值皆未超過上限的任務數
48,19210,24044
216,38420,48044

請在存放篩選工具與盤點資料的資料夾中執行兩個指令。每份報告的 records 裡,task 欄位列出選出的任務 ID。

python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json

回報分數時,請保留確切的任務 ID,並一併記錄基準測試版本及資源設定。如果要用共同任務比較兩次執行結果,請用同一份清單計算兩個分數。

方法和範圍

我們在 2026 年 11 月 17 日完成單一版本的組態宣告盤點。這項工作整理宣告值,並未量測效能。Terminal-Bench 資料集的來源修訂版本是 4070d6c。Harbor 使用所查閱的修訂版本 ec6aeab,專案中繼資料將它標為 0.26.0。方法包含完整的雜湊值、來源連結、資料擷取規則和重現盤點的指令。

收集指令碼會讀取官方資訊清單和 66 個 TOML 檔案,來源檔案共 85,966 位元組。指令碼分別保留各版本欄位,並檢查舊資源別名、步驟和其他環境區塊。這個版本未找到步驟或舊版資源別名。公開的下載資料僅包含選定的組態資訊和原始檔的雜湊值,未收錄任務指示、解法或完整環境。

我們獨立檢查了清單內的任務、計算結果和來源檔案範例,其中包括一個離群值、一個省略的 GPU 欄位和一個明確設定的驗證器區塊。過程中未執行模型、容器或基準測試任務。