メインコンテンツに移動

メニュー

研究

Terminal-Benchの66タスクにおけるリソース設定

言語: 日本語

Terminal-Bench v4.1.0の66タスクでは、異なるリソース設定が宣言されています。構成ファイルを集計すると、4,096 MBを超えるメモリを指定したタスクは31件、2 CPUを超える値を指定したタスクは22件でした。CPU、メモリ、ストレージ、GPUの各項目で最も多かった明示値を組み合わせ、比較用の構成を作りました。38件では、タスクの宣言値が少なくとも1項目でその構成を上回ります。この差から、分離された評価環境を準備する際に維持または記録すべき設定が分かります。リソース消費量やタスクの失敗を予測するものではありません。

同じベンチマークを新しい環境で実行するとき、どの条件が維持されるのでしょうか。タスクとランナーのバージョン、宣言値を上書きする指定、実行バックエンドの方針によって異なります。

リリースにはさまざまなリソース規模のタスクが含まれる

2026年11月3日公開のTerminal-Bench v4.1.0の公式マニフェストに含まれるタスクをすべて確認しました。対象はこのリリースの66件で、それぞれ固定したソースリビジョンにtask.tomlファイルがあります。同じリポジトリにある旧タスクやテスト用の補助ファイルは、集計の対象外です。公式リリースとマニフェスト

主環境の宣言値はCPUが2〜16、メモリが4,096〜32,768 MBです。CPUは2が最も多く、44件で指定されていました。メモリでは4,096 MBが最も多く、35件です。残りのタスクではそれより大きい値が指定されています。

66件のタスクで明示されたCPUとメモリの値の内訳。CPUは2が44件、4が14件、8が6件、16が2件。メモリは4,096 MBが35件、8,192 MBが22件、16,384 MBが8件、32,768 MBが1件。
図を原寸で表示

図の両パネルは同じ66件のタスク環境を対象にしています。値はリリースの構成ファイルで宣言されたものです。観測データ一式には、タスクごとに固定リビジョンのURLとソースファイルのハッシュが含まれます。

この差は、インフラを標準化するときに重要です。環境を統一すればスケジューリングは簡単になりますが、その中でランナーがタスク固有の設定を適用しなければ、宣言された条件の一部が変わります。利用可能なハードウェアを増やしても、宣言にある低い上限が自動的に維持されるわけではありません。比較には、ランナーとバックエンドが実際に何を適用するかの確認が必要です。

頻出の値を組み合わせると多くの宣言値が変わる

比較のため、4項目それぞれで最もよく明示された値を組み合わせました。

項目比較構成の値
CPU数2
メモリ4,096 MB
ストレージ10,240 MB
GPU数0

この構成は分析用に作成しました。Harborの既定値やベンダーの推奨、実際に観測したデプロイ構成ではありません。各値は単独では頻出ですが、組み合わせ全体の頻度は別です。

タスクごとに、明示された値が対応する比較値を1項目でも超えるか調べました。該当するのは66件中38件です。項目別ではCPUが22件、メモリが31件、ストレージが17件、GPU数が3件でした。グループが重複するため、単純な合計では一部のタスクが重複計上されます。比較結果には、該当する全タスクと項目別の正確なタスクIDが含まれます。

残り28件では、記録された宣言値が4項目の比較値を超えていません。これだけで構成との互換性は確認できません。8件ではGPU数が省略されており、集計では0とせず、未指定のまま扱います。ファイル、補助コンテナ、イメージ、サービスから、4項目に含まれない要件が生じることもあります。

GPUを使わない実行向けに、保守担当者はTerminal-Bench 4.1.0でCPU専用の63タスクから成るデータセットを提供しています。harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0で実行し、完全版66件のスコアと区別して報告します。このデータセットに含まれていても、指定したCPU、メモリ、ストレージの上限内に収まるとは限りません。

実行前に例外一覧を使うと、標準化した構成に切り替えた際に変わる設定が分かります。

宣言値はランナーとバックエンドで解釈される

タスクファイルは評価構成の一部です。宣言値がどう使われるかを調べるため、パッケージのメタデータで0.26.0と示された固定コミットのHarborソースを確認しました。

調べたコードでは、試行単位の指定がタスクのリソース値を上書きできます。CPUとメモリの方針により、値を適用するか無視するかも変わります。パーサーは、指定のないCPU、メモリ、ストレージを未設定のまま扱います。基底環境は、GPU数が省略されている場合に実効値を0とします。集計では省略を残し、タスクの記述とランナーによる解釈を区別できるようにしました。確認したコミットのHarbor環境ロジック

結果はバックエンドにも左右されます。調べたDockerアダプターはCPUとメモリの自動方針を上限に変換します。GPUの種類指定を明示的に無視し、Composeのリソースを書き出すコードはストレージ上限を書き込みません。3タスクでH100が明示されていますが、その項目だけからDockerがH100を割り当てるとは判断できません。同様に、storage_mbの値だけではDockerがディスク上限を設けることは確認できません。既存のCompose構成で制限が追加される場合があり、別のバックエンドでは処理が異なります。Dockerアダプター · Composeリソースの書き出し

評価を再現できるように、宣言値を維持し、選んだバックエンドの処理も記録します。要求した設定と実際の割り当ては、それぞれ別の問いに答える情報です。

評価で記録する4点。固定リビジョンのタスク宣言、ランナーのバージョンと上書き指定、バックエンドのリソース方針、確認できる場合は実際の割り当て。
図を原寸で表示

要求した設定と観測した割り当ては別々の項目に記録します。

エージェントの時間上限と検証器の設定は別々に記録する

66ファイルすべてでエージェントの時間上限として28,800秒、つまり8時間が明示されています。これは設定上の上限です。宣言された検証時間の上限は60〜18,000秒、環境のビルド時間の上限は300〜18,000秒です。所要時間を見積もる場合は、各段階を分けて考えます。

確認したランナーでは、時間上限の上書き、最大値と倍率の適用ができます。調べた関数は、倍率より前に最大値を適用します。本分析では、段階ごとの上限を合算して実際の総所要時間を予測していません。確認したリビジョンの時間上限の決定処理 · 段階ごとの時間予算の計算

確認した Harbor のバージョンのルールに従って、Terminal-Bench v4.1.0 の全66タスクの検証時間の上限を計算しました。最大値を600秒にする場合と、上限を600秒で上書きする場合を別々に試しました。倍率はどちらも1です。計算後の最も長い時間上限は、どちらも600秒でした。最大値を使った場合、もともと短かった28件の上限はそのままでした。上書きした場合、その28件すべてが600秒に延びました。この設定で短い時間上限を保ちたい場合は、最大値を使い、使った設定を記録します。 Harbor が最初の時間上限を決める方法 · Harbor が最大値と倍率を適用する方法

エージェントをローカルで実行している場合、エージェント自身の時間上限に達する前に、実行元のジョブが時間切れになって止まることがあります。たとえば、タスクでエージェントに8時間が割り当てられていても、上限が6時間のGitHubがホストするジョブ内では、8時間すべてを使うことはできません。同じジョブ内で準備にかかった時間も、使える時間から差し引かれます。ジョブの時間上限とエージェントの時間上限は別々に記録します。

すべてのタスクで個別の検証が明示的に選ばれており、6件には検証器環境のブロックがあります。調べたHarborの関数は、明示された検証器ブロックを全体として選び、タスク環境と項目ごとに結合しません。個別のブロックがない場合はタスク環境をコピーします。試行単位の指定により、検証器の実効構成はさらに変わることがあります。検証器環境の選択処理

設定が一致していても、エージェントと検証器の情報は別々に記録します。個別の検証を選んだという情報だけでは、実際の割り当てや両環境が同時にリソースを使用するかどうかは分かりません。

名前とパスが一致する66件について、Terminal-Bench 4.0と4.1のCPU、メモリ、ストレージ、GPU、時間上限、検証モードの宣言値を比較しました。比較で、対象項目に差があったのは2件です。distributed-dedupの検証上限は1,800秒から3,900秒に延びました。payments-pipeline-fixの検証器の明示値は6 CPUと12,288 MBから8 CPUと16,384 MBに増えました。これらは宣言値です。4.1のリリースノートによると、66件すべてが変更されています。この範囲の比較では、指示、イメージ、検証器が同等かどうかは判断できません。

compare-versions.pyとcensus.jsonを同じフォルダーにダウンロードし、Python 3.11以上とインターネット接続を用意して、そのフォルダーでpython3 compare-versions.py > comparison.jsonを実行します。スクリプトは4.0の固定リビジョンのレジストリとタスクのメタデータを取得し、タスク自体は実行しません。ローカルレポートには、出典とベンチマークデータを学習コーパスに入れないよう求めるプロジェクトの要請が残ります。

評価構成を変更するときに残しておく情報

集計を基に、構成の要点を記録できます。

  1. タスク集合を固定します。 リリースマニフェスト、ソースリビジョン、タスクのパスをまとめて保存します。リポジトリ全体のファイル数にはリリース外の素材も含まれることがあります。
  2. 元の宣言を残します。 明示された値と省略された項目を記録します。個別の検証器設定と段階ごとの時間上限も含めます。
  3. ランナーと指定内容を記録します。 正確なバージョンまたはリビジョンと、タスク設定を置き換えたり倍率を適用したりする指定を残します。
  4. バックエンドの方針を確認します。 上限、予約、既定値として処理される項目や、サポートされない要求を特定します。
  5. 確認できる場合は実際の割り当てを記録します。 要求した設定や実行中に測った消費量と区別して残します。

上限や割り当てを意図的に変えた場合は、結果とともに変更内容を記録します。後から読む人が評価の条件を把握し、環境の違いを考慮して比較できます。

構成の比較結果と分析コードで例外を確認できます。sapien1はエージェント評価の範囲を決めるとき、同様にタスクと環境を確認します。

別の上限で比較するには、リソースフィルターと集計データを同じフォルダーにダウンロードします。例えばpython3 filter-census.py --cpus 4 --memory-mb 8192 --status withinは、タスク環境と検証器環境の両方で、宣言値が上限内に収まるタスクを一覧にします。出力では省略された項目も残り、タスクが実際に動くかどうかは確かめていません。Terminal-Benchはデータを学習コーパスから除外するよう求めています。

上限ごとに選ばれるタスクを比較する

2つのリソース上限の例では、どちらも Terminal-Bench v4.1.0 の全66件から44件が選ばれます。両方に含まれるタスクは36件で、片方だけに含まれるタスクはそれぞれ8件です。フィルターは、各上限に対して CPU、メモリ、ストレージの宣言値を、タスク環境と検証環境で別々に確認します。

CPU 数メモリ(MB)ストレージ(MB)3つの上限すべてを満たすタスク数
48,19210,24044
216,38420,48044

フィルターと調査データが入っているフォルダーで、両方のコマンドを実行します。各レポートの records にある task フィールドで、選ばれたタスクの ID を確認できます。

python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json

スコアを報告するときは、タスクの正確な ID をベンチマークのバージョンおよびリソース設定と一緒に保存してください。2回の実行を共通のタスクで比較する場合は、同じ一覧を使って両方のスコアを計算します。

方法と範囲

2026年11月17日に、1リリースの構成宣言を全件集計しました。対象は宣言値であり、性能は測定していません。Terminal-Benchデータのソースは4070d6cです。Harborはプロジェクトのメタデータで0.26.0と示されるec6aeabを調べました。方法には、完全なハッシュ、ソースへのリンク、抽出規則、集計を再現するコマンドが含まれています。

収集スクリプトは公式マニフェストと66件のTOMLファイルを読み込みます。ソースの合計は85,966バイトです。バージョン項目を個別に保持し、古いリソース別名、手順、追加の環境ブロックを調べます。今回のリリースでは手順も古いリソース別名も見つかりませんでした。公開ダウンロードに含まれるのは、選定した構成情報とソースのハッシュです。タスクの指示、解答、完全な環境は含まれません。

マニフェストの対象、計算結果、外れ値、GPU項目の省略、明示された検証器ブロックを含む例を独立に確認しました。モデル、コンテナ、ベンチマークタスクは実行していません。