# 参照ファイルの有無で変わるGDPvalの公開タスク構成

ベンチマークのスコアは、対象になり得るタスクが分かると解釈しやすくなります。GDPvalの公開ゴールドタスクテーブルでは、44の職業それぞれに最初は5タスクがあります。ただし、専門家の参照ファイルがリストに記載されていることを要件とする比較では、テーブルの全行を同じようには使えません。220行中35行は`deliverable_files`のリストが空です。

この合計は、すでに[gbenchのGDPval実装](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md)で文書化されています。今回、同じ[リビジョンを固定したGDPvalスナップショット](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf)を使い、空のリストが業種や職業にどう分布するかを集計しました。44の職業すべてに、ファイルがリストに記載された行が少なくとも1行あります。ただし、残ったタスクの構成は、元のテーブルほど均等ではありません。

## 専門家の参照ファイルが記載されているタスクはどれか

ここで数えているのは、テーブルに専門家の成果物のパスが少なくとも1件記載されているかどうかだけです。パスの記載は、ファイルにアクセスできることや表示できることの証明にはなりません。リストが空でも、このテーブルの外に参照が存在しないとは言えません。

| 業種 | 公開ゴールドテーブルの行数 | 成果物の記載あり | リストが空 |
| --- | ---: | ---: | ---: |
| 金融・保険業 | 25 | 17 | 8 |
| 政府 | 25 | 22 | 3 |
| 医療・社会扶助 | 25 | 22 | 3 |
| 情報産業 | 25 | 14 | 11 |
| 製造業 | 25 | 25 | 0 |
| 専門・科学・技術サービス業 | 25 | 24 | 1 |
| 不動産・賃貸・リース業 | 25 | 20 | 5 |
| 小売業 | 20 | 16 | 4 |
| 卸売業 | 25 | 25 | 0 |
| **合計** | **220** | **185** | **35** |

![専門家の成果物が記載された行（業種別）](https://sapien1.com/research/gdpval-reference-coverage/figures/ja/sector-coverage.svg)

棒グラフはリストへの記載の有無を示しており、ファイルへのアクセスや表示が可能であることを確認したものではありません。

このテーブルには、職業と業種の組み合わせが44グループあり、各グループに5タスクずつ含まれます。この段階の絞り込み後、22グループは5行すべてが残り、残りの22グループは2〜4行が残ります。すべての職業が引き続き含まれていますが、含まれていること自体は、それぞれのタスク数が同じであることを意味しなくなります。

集計値を読む際には、業種間の違いが参考になります。情報産業と製造業はそれぞれ、元の220行中25行、つまり11.4%を占めます。リストに記載のある185行のみを対象に、各タスクを等しく重み付けした仮の集計では、情報産業は14/185で7.6%、製造業は25/185で13.5%を占めます。これらはタスクの割合であり、モデルのスコアでも、異なる職業の価値を推定したものでもありません。

## 採点システムは参照ファイルを読めるか

185行という計算は、gbenchの最終的なスコアリングの分母ではありません。そのドキュメントによると、さらに4タスクは記載された成果物をテキストに変換できず、そのスナップショットで参照をテキストに変換できるタスクは181件になります。今回、それらのファイルを独自に変換したり、gbenchを実行したりはしていません。

この4タスクがどの業種に属するか分からなくても、集計値から、文書化された参照をテキストに変換できるタスク集合の範囲を把握できます。リストに記載のある185行から異なる4行が除かれるとすると、製造業は少なくとも21行、情報産業は多くても14行が残ります。各タスクを等しく重み付けした場合、それぞれの限界値は21/181（11.6%）と14/181（7.7%）です。実際の実行では、生成や判定の失敗、タスクごとの試行回数も影響するため、採点対象の分母が異なる場合があります。これらの集計値は、OpenAIによる当初の人手採点結果を示すものではありません。

別の採点方法には、それぞれ異なる要件があります。[コミット`5d6429f`で文書化されたNeMo Gymのルーブリックモード](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md)では、LLM判定役が候補となる成果物をタスクのルーブリックに照らして採点します。[準備コード](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py)は専門家の出力である`deliverable_files`のリストをコピーしません。一方、[ルーブリック検証処理](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py)は、両方のルーブリックフィールドが空の場合に`missing_rubric`を報告します。リストに記載されたタスク入力ファイルはすべて所定の場所に用意する必要があり、候補出力と判定役も必要です。また、準備処理の呼び出しではデータセットのリビジョンが固定されません。今回、NeMo Gymの実行やカバレッジの測定はしていません。NeMo Gymのルーブリックスコアとgbenchの勝ちまたは引き分けの割合は、異なる指標です。

## 判定役が確認できる内容

参照の利用可否は、比較に関わる要素の1つにすぎません。[gbenchのドキュメント](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md)では、220件のルーブリックのうち32件が、デフォルトのルーブリック上限である8,000文字を超えるとすでに報告されています。フォーマッターは、次の基準を追加すると上限を超えるまで、元の順序で基準を丸ごと保持し、その後に切り詰めを示すマーカーを追加します。最初の基準だけで上限を超える場合は、その基準の一部だけを表示します。文字数とトークン数は異なります。

リビジョンを固定したそのフォーマッターをタスクテーブルに適用しました。専門家の成果物がリストに記載された185行のうち、26件のルーブリックがデフォルト設定で切り詰められ、それらの行全体で247件の基準が丸ごと省かれます。成果物が記載されていても必ずテキストに変換できるとは限らず、生成の失敗や空の生成結果によって判定役が呼び出されないこともあるため、これらは判定された比較の件数ではありません。参考として、フォーマッターの上限だけを12,000文字または16,000文字に変更した場合、この185件のルーブリックのうち切り詰められるのはそれぞれ2件、0件になります。これらの設定を評価プログラムや判定役で実行したわけではありません。省かれた基準の数から、その重要性や判定結果が変わるかどうかは分かりません。また、上限を大きくすると、固定サイズのコンテキストウィンドウ内で残りの内容に使える余地が減る場合があります。実際の実行で記録された切り詰め情報を、参照と採点の件数とあわせて確認してください。

[ルーブリックの確認スクリプト](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip)は、DuckDB 1.4.4を使ってこれらの集計値を再現します。リビジョンを固定したタスクテーブル全体を一時的にダウンロードし、ルーブリックのテキストをメモリ内で処理します。出力に残るのは集計値で、タスクIDやルーブリックのテキストは残りません。通常の実行後、一時テーブルを削除します。実行するのは、内容を確認しハッシュを検証したgbenchのフォーマッターのみで、制限された名前空間で実行しますが、これはセキュリティサンドボックスではありません。アーカイブには上流のライセンスと通知が含まれています。以下のDuckDBセットアップ後、Python 3.11を使って環境を作成し、アーカイブをダウンロードして、macOSまたはLinuxで実行します。

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## タスクからスコアまでの過程を記録する

評価を設定または比較するときは、データセットのリビジョン、必要な参照の種類、各対象条件を記録してください。元のテーブル、参照の確認後、採点後のそれぞれについて、グループ別の件数を報告します。リストに参照の記載がない場合、参照を読み取れない場合、生成に失敗した場合、判定結果を利用できない場合は、理由を分けて記録してください。そうしないと、単一の集計値によって、どのタスクが集計に寄与しなくなったかが見えなくなることがあります。

残ったタスクと試行をどう重み付けするかも明記してください。件数が異なる場合、タスクごとの均等な重み付け、職業ごとの均等な重み付け、試行ごとの均等な重み付けは、それぞれ異なる問いに答えます。どの方法も、それだけで欠けた根拠を補うものではありません。適切な集計方法は、評価で何を測りたいかによって決まります。

独自にタスクセットを設計する場合は、[エージェント評価ガイド](https://sapien1.com/ja/agent-evaluation)で、観察可能な確認項目の定義方法と、繰り返し試行の解釈方法を紹介しています。

## 入力ファイルごとに正確なバージョンを記録する

タスクテーブルのリビジョンを固定しても、評価プログラムがダウンロードするすべてのファイルが固定されるとは限りません。[リビジョン`4bf6426`の以前の公開GDPvalテーブル](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1)では、220タスク行のうち122行に入力ファイルが記載されています。記載された262件の入力URLはすべて、リポジトリの更新される`main`ブランチを指しています。提供元のメタデータによると、同じパスのうち62件は[リビジョン`11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf)までにサイズとblob IDが変わっていました。この62件のパスは、以前のテーブルの20行に含まれています。これらはタスク入力であり、上で集計した`deliverable_files`内の専門家の参照出力とは別のものです。

このことは、特定の評価で変更後の入力が使われたこと、ファイルが破損していること、スコアが変わったことを示すものではありません。ただし、保存済みのテーブルにある更新されるURLを後からたどると、異なるバージョンの入力が選ばれる可能性があることは示しています。今回、入力ファイルの内容は分析していません。

[Inspect Evalsのコミット`5c092d5`](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py)では、GDPvalローダーがタスクテーブルをリビジョン`a3848a2`に固定しています。このテーブルは上記の以前のテーブルとバイト単位で同一で、提供元の入力ファイルのメタデータも一致します。ローダーは、対応するテーブル内のURLをサンプルのファイルマッピングに変換します。[Inspectのドキュメント](https://inspect.aisi.org.uk/datasets.html#sample-files)によると、そのマッピングにはURLを使用できます。したがって、このソース経路では、固定されたテーブルとともに更新されるURLが渡される可能性があります。今回、Inspectのファイルダウンロードやキャッシュのテストは行っておらず、個々の実行で何が使われたかも確認していません。

別の方法として、評価プログラムは、データセット内の相対パスをテーブルと同じ不変のリビジョンで解決できます。[今回確認したgbenchの実装](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py)は、添付ファイルの取得時に固定したリビジョンを明示的に指定しています。リビジョンを記録し、実際に使われたファイルを可能な範囲で検証してください。[Hugging Faceのダウンロードに関するドキュメント](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision)では、一貫したダウンロードのために、更新されるリビジョンをコミットに解決する方法を説明しています。

[入力URLの分析スクリプト](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py)は、DuckDB 1.4.4を使って集計値を再現します。以前のタスクテーブルを一時的にダウンロードし、通常の実行後に削除します。出力にはタスクのテキスト、個々のID、入力パス、入力内容を残しません。オプションのフラグを指定すると、1件のパスのレスポンスヘッダーと現在の`main`リビジョンを確認します。この結果は`main`の更新に伴って変わる可能性があります。この確認でスクリプトが送信するのは、リダイレクト先も含めて`HEAD`リクエストのみで、取得できない結果は未確認のままにします。Python標準ライブラリによる確認では、[Inspectが固定したテーブルとメタデータ](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py)を比較し、[固定されたローダーのソース](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py)を実行せずに確認します。テーブルのハッシュ確認ではテーブル全体をメモリに読み込みますが、タスク内容の解析や保存は行いません。これらのスクリプトは入力ファイルの本文をリクエストしません。

以下のDuckDBセットアップ後、macOSまたはLinuxで次のコマンドを使って確認します。

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## 集計方法

参照の利用可否の全件調査では、GDPvalのリビジョン`11e7900cdcac61bc4daf59e65feb238acda98fbf`にある`train` Parquetテーブルを調べ、重複のないタスクIDが220件あることを確認しました。集計に使ったのは、業種、職業、各`deliverable_files`リストの長さだけです。[分析スクリプト](https://sapien1.com/research/gdpval-reference-coverage/analyze.py)はソースのハッシュを確認し、DuckDB 1.4.4を使って集計値を再現します。テーブル全体を一時的にダウンロードし、通常の実行後に削除します。出力にはプロンプト、ルーブリック、個々のタスクID、成果物のパス、成果物は残りません。モデル、ベンチマーク、参照を変換するプログラムはいずれも実行していません。

macOSまたはLinuxでPython 3.9以降を使ってローカルで再現するには、`python3`でそのバージョンが選択されることを確認してください。

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

sapien1は、これらのスクリプトをローカルでダウンロードして実行できるよう提供しています。変更や再配布を許諾する追加のライセンスは明示されていません。元のデータセットの利用条件は別に定められています。

OpenAIは、220タスクからなるゴールドサブセットを[オープンソースとして公開した](https://openai.com/index/gdpval/)と説明しています。[リビジョンを固定したデータセットカード](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md)にはベンチマークカナリアが含まれ、ライセンスフィールドはありません。カードの表示やこの集計値から利用条件を推測せず、各自の利用に適用される条件を確認してください。業種と職業のラベル、およびベンチマークの出典は元の提供元です。
