メインコンテンツに移動

メニュー

研究

2つのベンチマークスコアは比較できるか

言語: 日本語

まず、スコアを何の判断に使うかを決めます。過去の結果を引用するなら、掲載された表を正確に特定します。2つのエージェントから選ぶなら、両者が同じルールで同じケースに取り組んだことを確認し、そのケースの結果をもとに比較します。4つの公開例から、これらの確認が必要な理由がわかります。

引用元の表を特定する

LiveBenchは、異なる2つの元データ表に同じリーダーボードのラベル2025-05-30を使いました。リビジョンを固定した両方の表に、30件のモデルラベルが共通して現れます。そのうち28件では、別部門のCodingの2つのスコアのうち少なくとも一方が、後の表で高くなっています。メンテナーは、評価用ハーネスとステップ数の上限を変更してAgentic Codingを再実行したと説明しています。元データ表からは、別部門のCodingのスコアが変わった原因はわかりません。引用した値とともに表のリビジョンまたはファイルのハッシュを保存し、ベンチマークの日付ラベルは別の項目に記録します。先に公開されたLiveBenchの表 · 後に公開されたLiveBenchの表 · メンテナーの変更履歴

成功率を比べる前にケースをそろえる

2通りのリソース上限を例に取ると、どちらもTerminal-Bench v4.1.0の66件のタスクから44件を選びます。両方に含まれるタスクIDは36件だけです。一方の上限はCPU 4基、メモリ8,192 MB、ストレージ10,240 MBです。もう一方はCPU 2基、メモリ16,384 MB、ストレージ20,480 MBです。リソースフィルターは、タスク環境と検証環境の両方で宣言されている値に、それぞれの上限を適用します。以下の結果は架空の例です。Terminal-Benchのリソース設定とフィルター

最初の選択でエージェントAが32件、2番目でエージェントBが34件を解いたとします。各選択には、共通集合に含まれないケースが8件ずつあります。そのため、Aが解いた共通ケースは36件のうち24〜32件、Bは26〜34件の範囲です。共通ケースでAが32件、Bが26件を解いた場合は、Aが6件上回ります。Aが24件、Bが34件なら、Bが10件上回ります。どちらも、報告された合計と矛盾しません。

架空の結果それぞれの選択44件での解決数共通36件のうち解決した可能性のある件数
エージェントA3224–32
エージェントB3426–34

この例の合計値だけでは、共通ケースでの順位は決まりません。ケースごとの結果を求めるか、同じ確認済みケースリストで両方のエージェントを評価します。リソース予算が異なる場合は、それぞれの構成を比較した結果として説明します。エージェントを変えた影響だけを調べるには、予算と他の実行条件を固定します。順位を付ける前に共通の分母を決め、欠落、失敗、未採点の実行をどう数えるかを定めます。そこから得られた評価対象のカバー率を報告します。

採点に同じ入力が使われたか確認する

SWE-bench Verifiedの2026年2月と8月のテストスナップショットには、同じ500件のケースIDがあります。8月の2つのコミットで、Astropyの1ケースから想定される回帰テスト項目が1件、Djangoの1ケースから5件、削除されました。リビジョンから、保存されたリストのどこが変わったかがわかります。スコアへの影響を測るには、他の設定を固定して同じ候補パッチを両方のリビジョンで採点します。エージェントを比較するときは、データセットのリビジョン、採点器、実行環境、評価オプションをそろえます。2月のテストスナップショット · 8月のテストスナップショット · SWE-benchの1つ目の変更 · SWE-benchの2つ目の変更 · 採点器のソース

ケースごとの結果ファイルは使う前に確認する

Every Eval Everでは、集計レコードと各コレクションのインデックスから、サンプルごとの結果を探せます。データストアの特定のリビジョンでは、両方の情報源が関連サンプルファイルに異なるSHA-256値を示しています。対象はMMLU-Proのインデックスの14件すべてと、gsm8kのインデックスの11件すべてです。各コレクションのリストで最初のサンプルファイルをダウンロードすると、そのハッシュはインデックスの値と一致しました。集計レコードのチェックサムは異なっていました。この確認でわかるのはファイル単位の不一致です。スコアが正しいか、不一致がなぜ起きたかは評価していません。MMLU-Proのインデックス · GSM8Kのインデックス · GSM8Kの集計レコードの例

変更されないファイルの場所と確認済みのハッシュを、比較に使う対応付け済みの結果と一緒に保存します。提供元の記載が食い違う場合は、そのファイルをスコアの根拠にする前に不一致を解消します。

比較に使った情報を記録する

項目保存する情報
公開された結果ソースURL、ベンチマークのラベル、表のリビジョンまたはハッシュ、指標と単位
ケースと試行データセットのリビジョンと分割、ケースと試行の正確なID、採点の分母、除外ルール
実行条件エージェントとモデルのリビジョン、ツール、採点器と設定、予算、環境ID、確認できる場合はイメージのハッシュ
根拠資料ケースごとの出力または結果、変更されないファイルの場所、確認済みのハッシュ

性能については、記録が裏付ける範囲で結論を出します。過去の値を引用する場合は、出典を正確に示します。エージェントを比較する場合は、明示した条件でのケースごとの対応付け済みの結果とカバー率を報告します。