# Terminal-Benchのリソース設定の全数調査

作成日: 2026-11-17
更新日: 2026-11-17

## 調査の問いと対象

Terminal-Bench v4.1.0で単一のサンドボックスプリセットを適用すると、タスクごとに宣言されたどの設定が変わるでしょうか。この調査では、評価チームが環境構成を選び、記録できるように、公開された設定を比較します。実際のリソース使用量、必要な最小ハードウェア、価格、完了時間、モデルの性能、失敗確率は推定していません。

対象は、リポジトリ内のタスクに似たすべてのファイルではなく、公式v4.1.0リリースのマニフェストに含まれる全66タスクです。このリリースは2026年11月3日に公開されました。構成メタデータは2026年11月17日に読み取りました。[公式データセットカード](https://huggingface.co/datasets/harborframework/terminal-bench)には、リリースとその[マニフェスト](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json)が示されています。ソースリポジトリは`harbor-framework/terminal-bench`のコミット`4070d6cef56a7d20cb5dc98d5e10ada88a6b9440`に固定しています。

マニフェストのSHA-256は`8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`です。各観察結果には、固定されたソースURLとソース`task.toml`全体のSHA-256が含まれます。リリースマニフェストに含まれない旧形式のタスク、CIフィクスチャ、テンプレートは除外しています。タスク、コンテナー、モデル、検証スクリプトはいずれも実行していません。

## 抽出

単位はマニフェスト内の1タスクです。収集プログラムはPythonの標準ライブラリでTOMLを解析し、トップレベルの環境に明示されたCPU、メモリ、ストレージ、GPU、GPUタイプ、TPU、ビルドのタイムアウト値を記録します。省略されたフィールドは省略されたまま保持します。エージェントと検証器のタイムアウト値は別々に記録します。数値の`1200`と`1200.0`は集計上は同等として扱い、元の観察結果では解析後の型を保持します。

検証器の環境ブロックの有無は、リソースフィールドの有無とは別に記録します。また、収集プログラムはschema_version、旧形式のトップレベルversion、タスクのversionをそれぞれ保持し、旧形式のリソース別名、ステップ、追加の環境ブロックにフラグを付けます。このリリースでは、旧形式のリソース別名やステップは見つかりませんでした。6タスクに検証器の環境ブロックが明示されています。完全な観察結果には、これらのブロックから選択したフィールドを保持しています。主なCPUとRAMの分布は、タスクのトップレベル環境のみを対象としています。

66個のソースTOMLファイルの合計は85,966バイトです。公開した抽出結果には、選択した構成上の事実、フィールド名、タスク識別子、ソースのハッシュが含まれます。タスクの指示、解答、テスト、著者の連絡先情報、環境変数の値は含めていません。このパッケージでは、ソースファイル全文やベンチマークのイメージを再配布していません。

## 作成した比較設定

CPU、メモリ、ストレージ、GPU数のそれぞれについて、66件のトップレベル環境の宣言で明示された値のうち、最も頻出する値を選びました。値はCPUが2、メモリが4,096 MB、ストレージが10,240 MB、GPUが0です。これらを組み合わせて比較用プリセットを作成しました。これはHarborのデフォルト、ベンダーの推奨、または実際に観察された評価設定ではありません。

明示された数値のうち少なくとも1つが、対応するプリセットの値を上回る場合、そのタスクを「比較用プリセットを上回る」集合に含めます。フィールドごとの件数を合計するのではなく、タスク識別子の和集合を取ります。GPUの値が欠落している場合、ゼロとして数えることも、プリセットを上回る例として数えることもしません。GPU数が省略された8タスクは、元データで引き続き識別できます。38タスクの和集合が示すのは宣言の違いであり、どのプリセットでもタスクを実行または合格できるかを予測するものではありません。

また、タイムアウトを除き、CPU、メモリ、ストレージ、GPU数、GPUタイプ、TPUの宣言の組み合わせが何種類あるかを数えました。元のパターン数は27です。省略されたGPU数をゼロにすると22になります。このように結果が変わるため、記事ではパターン数をハードウェア要件の数として提示せず、個々のリソースフィールドと明確な比較を中心に示しています。

## ランナーによる解釈

Harborのコミット`ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`のソースを確認しました。このコミットのプロジェクトメタデータには、バージョン0.26.0が示されています。以下はコードを読んだ結果であり、すべてのタスクやバックエンドを実行して検証した結果ではありません。

- [タスクパーサー](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435)では、CPU、メモリ、ストレージ、GPU数をnull許容のままとし、旧形式のメモリとストレージの文字列を移行します。スキーマバージョンのフィールドは文字列です。バージョンの移行処理自体は、すべてのタスクを実行できることを示すものではありません。
- [ベース環境](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)は試行時の上書き設定を適用します。省略されたGPU数はそこでゼロに解決されます。CPUとメモリを無視するポリシーにより、それらの値が適用されない場合があります。このランナーが省略値をある値に対応付ける場合でも、データセットでは省略を保持しています。
- [検証器の環境を決定する処理](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)は、検証器の環境が指定されていればそれを全体として使用し、指定されていなければタスクの環境をコピーします。明示された検証器ブロックをエージェントの設定とフィールドごとに結合することはありません。[試行の作成時](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104)には、環境の上書き設定が引き続き渡されます。
- [Dockerアダプター](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568)は、CPUとメモリのautoポリシーを制限値に対応付け、GPUタイプの選択を明示的に無視します。その[Composeリソース書き込み処理](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)はCPU、メモリ、GPU数の制約を書き込みますが、ストレージの上限は書き込みません。既存のCompose構成や他のプロバイダーでは、動作が異なる場合があります。
- [タイムアウトの決定処理](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695)と[予算の計算処理](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)では、上書き、最大値、倍率を指定できます。エージェント、検証器、ビルドのタイムアウト宣言は、観察された所要時間ではありません。それらの合計が試行全体の所要時間の上限になるとは主張していません。

この全数調査では、すべてのDockerfile、Composeサイドカー、イメージ、外部サービスを確認しているわけではありません。これらにより、トップレベルの構成フィールド以外にリソース要件や制約が加わる場合があります。この調査から、ベンチマークの妥当性やスコアの変化について結論を導くことはできません。

## 再現

Python 3.11以降で`python3 census.py`を実行すると、提供された`census.json`から`census-results.json`を再生成できます。`python3 census.py --collect`を実行すると、分析前に固定されたマニフェストと66個すべての固定されたTOMLファイルを再取得できます。収集プログラムの同時読み取り数は最大3で、マニフェストは300 KB、各タスクは100 KBを上限とします。マニフェストの構成または固定されたマニフェストのハッシュが異なる場合は失敗します。プロバイダー側のデータを変更する操作は行わず、ダウンロードしたコードも実行しません。

`python3 render-assets.py`を実行すると、オリジナルのSVG図2点を再生成できます。図の生成にはReportLabを使用します。公開されたマスターはReportLab 4.4.9とPython 3.12.14で描画しました。分布図は分析結果を直接読み込みます。2つ目の図は構成レコードを著者が作成した概念図であり、実測データではありません。両方のSVGにテキスト、アクセシブルなタイトル、説明が保持されています。

元のベンチマークには[Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE)が適用されます。ソースの著作権は各著者に帰属します。このパッケージは、Sapien1が選択した事実の抽出結果と独自の分析であり、サードパーティのタスクアセットやコンテナーの内容に関する権利を付与するものではありません。
