研究
參考檔案篩選如何改變 GDPval 的公開任務組成
知道哪些任務可能納入基準測試,才能更容易解讀分數。在公開的 GDPval 黃金任務資料表中,44 個職業各有 5 個起始任務。但需要列出專家參考檔案的比較,無法以相同方式使用表中的每一列:220 列中有 35 列的 deliverable_files 清單為空。
gbench GDPval 實作已記載這個總數。我們統計了同一份固定版本的 GDPval 快照中,空清單在各產業與職業間的分布。44 個職業仍各有至少一列列出檔案,但剩餘任務的分布不如起始資料表均勻。
哪些任務列出了專家提供的參考檔案?
這些數字只反映資料表是否列出至少一個專家交付成果路徑。列有路徑不代表檔案一定可存取或可呈現。清單為空也無法證明此表以外是否存在參考資料。
| 產業 | 公開黃金資料表列數 | 列有交付成果 | 清單為空 |
|---|---|---|---|
| 金融與保險業 | 25 | 17 | 8 |
| 政府 | 25 | 22 | 3 |
| 醫療保健與社會救助業 | 25 | 22 | 3 |
| 資訊業 | 25 | 14 | 11 |
| 製造業 | 25 | 25 | 0 |
| 專業、科學及技術服務業 | 25 | 24 | 1 |
| 不動產及租賃業 | 25 | 20 | 5 |
| 零售業 | 20 | 16 | 4 |
| 批發業 | 25 | 25 | 0 |
| 總計 | 220 | 185 | 35 |
長條呈現清單是否有項目,未驗證檔案是否可存取或呈現。
資料表包含 44 個職業與產業組合,各有 5 個任務。其中 22 組通過這道篩選後保留全部 5 列,另 22 組保留 2 至 4 列。每個職業仍在資料集中,但僅憑職業仍在,已不能代表各職業的任務數相同。
解讀彙總數據時,各產業的差異值得留意。資訊業與製造業在原始 220 列中各占 25 列,即 11.4%。假設只對列有交付成果的 185 列進行各任務等權重的彙總,資訊業將占 14/185,即 7.6%;製造業將占 25/185,即 13.5%。這些是任務占比,並非模型分數,也不是對不同職業價值的估計。
評分系統能讀取參考檔案嗎?
185 列的計算結果並非 gbench 最終評分的分母。其文件另指出,有 4 個任務所列的交付成果無法呈現為文字,因此該快照中剩下 181 個參考資料可呈現的任務。我們未獨立呈現那些檔案,也未執行 gbench。
即使不知道這 4 個任務屬於哪些產業,這些數字仍可為文件所述參考資料可呈現的集合提供有用的範圍。如果這 4 個任務是列有交付成果的 185 列中互不重複的資料列,則製造業至少剩下 21 列,資訊業至多剩下 14 列。以任務等權重計算,這兩個界限分別為 21/181(11.6%)和 14/181(7.7%)。實際執行時的評分分母可能不同,因為生成失敗、評審失敗及每個任務的嘗試次數也會影響結果。這些數字不代表 OpenAI 最初由人工評分的結果。
其他評分方法有不同要求。在 NeMo Gym 於提交版本 5d6429f 記載的評分規準模式中,LLM 評審依任務評分規準評定候選交付成果。其準備程式碼不會複製專家輸出的 deliverable_files 清單,而其評分規準驗證器會在兩個評分規準欄位都為空時回報 missing_rubric。任何列出的任務輸入檔案都必須先備妥,仍需要候選輸出與評審;準備呼叫並未固定資料集版本。我們未執行 NeMo Gym,也未測量其涵蓋率。其評分規準分數與 gbench 的勝出或持平率是不同的衡量指標。
評審能看到什麼
參考資料是否可用只是比較的一部分。gbench 文件已指出,220 份評分規準中有 32 份超過預設的 8,000 字元上限。其格式化程式依原始順序保留完整準則,直到加入下一項會超過上限為止,接著加入截斷標記;若第一項準則本身就超過上限,則只顯示該準則的一部分。字元數不等於 token 數。
我們將該固定版本的格式化程式套用至任務資料表。在列有專家交付成果的 185 列中,預設上限會截斷 26 份評分規準,這些列合計有 247 項完整準則遭省略。列出的交付成果不一定可呈現,而生成失敗或輸出為空也可能使評審呼叫無法進行,因此這些不是已評審比較的數量。舉例來說,若只將格式化程式上限改為 12,000 或 16,000 字元,這 185 份評分規準中分別會有 2 份或 0 份遭截斷。我們未透過評估程式或評審執行這些設定。省略的準則數量無法證明其重要性或判定結果是否會改變;提高上限可能壓縮固定上下文視窗中留給其他內容的空間。應將實際執行所記錄的截斷資訊,連同參考資料與評分數量一併檢視。
評分規準篩選程式可使用 DuckDB 1.4.4 重現這些數字。它會暫時下載完整的固定版本任務資料表,並在記憶體中處理評分規準文字;輸出只保留彙總數字,不保留任務 ID 或評分規準文字。正常執行結束後會刪除暫存資料表。它只在受限命名空間中執行經檢查及雜湊驗證的 gbench 格式化程式;該命名空間不是安全沙箱。封存檔包含上游授權條款與聲明。完成下方 DuckDB 設定後,在 macOS 或 Linux 上使用 Python 3.11 建立環境、下載封存檔並執行:
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json記錄從任務到分數的過程
設定或比較評估時,請記錄資料集版本、所需參考資料類型及每項納入條件。分組回報起始資料表、參考資料檢查後及評分後的數量。將未列出參考資料、參考資料無法讀取、生成失敗及評審判定結果不可用的原因分開記錄。否則單一彙總數據可能掩蓋哪些任務未再納入結果。
也應說明剩餘任務與各次嘗試如何加權。數量不同時,每個任務等權重、每個職業等權重,以及每次嘗試等權重,回答的是不同問題。這些方法本身都無法補足缺失的證據;適當的彙總方式取決於評估意圖衡量的內容。
如果您自行設計任務集,代理程式評估指南說明如何定義可觀察的檢查項目,並解讀重複試驗的結果。
記錄每個輸入檔案的確切版本
固定任務資料表版本,不一定會固定評估程式下載的每個檔案。在較早的公開 GDPval 資料表版本 4bf6426中,220 個任務資料列有 122 列列出輸入檔案。所列的 262 個輸入 URL 全部指向儲存庫中會變動的 main 分支。提供者的中繼資料顯示,到了版本 11e7900,其中 62 個相同路徑的大小和 blob ID 已有所不同;這 62 個路徑出現在較早資料表的 20 列中。這些是任務輸入,與上文統計的 deliverable_files 專家參考輸出不同。
這並不能證明特定評估使用了變更後的輸入、檔案已損毀,或分數有所改變。它確實顯示,日後沿用已儲存資料表中會變動的 URL,可能選到不同版本的輸入。我們未分析輸入檔案內容。
在 Inspect Evals 提交版本 5c092d5 中,GDPval 載入程式將任務資料表固定於版本 a3848a2。該資料表與上述較早資料表的位元組完全相同,提供者的輸入檔案中繼資料也相符。載入程式將資料表中成對的 URL 對應至樣本檔案映射;Inspect 文件指出,這些映射可使用 URL。因此,這條來源路徑可能在使用固定資料表的同時帶入會變動的 URL。我們未測試 Inspect 的檔案下載或快取,也未確認任何一次執行實際使用了什麼。
評估程式也可以在與資料表相同的不可變版本中解析相對於資料集的路徑。此處檢視的 gbench 實作在擷取附件時明確指定其固定版本。請記錄版本,並在可行情況下驗證實際使用的檔案。Hugging Face 下載文件說明如何將會變動的版本解析為提交版本,以確保下載一致。
輸入 URL 分析指令碼可使用 DuckDB 1.4.4 重現這些數字。它會暫時下載較早版本的任務資料表,正常執行結束後將其刪除,輸出不保留任務文字、個別 ID、輸入路徑或輸入內容。選用旗標可檢查一個路徑的回應標頭及目前的 main 版本;結果可能隨 main 變動。執行該檢查時,指令碼只傳送 HEAD 請求,重新導向過程中也是如此;無法取得的結果不予觀測。Python 標準函式庫檢查會比較 Inspect 固定版本的資料表與中繼資料,並檢視固定版本的載入程式原始碼,但不會執行該程式。資料表雜湊檢查會將完整資料表讀入記憶體,但不會解析或保留其任務內容。這些指令碼不會請求輸入檔案的本文內容。
完成下方 DuckDB 設定後,在 macOS 或 Linux 上使用以下指令執行檢查:
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py計數方法
為進行參考資料可用性普查,我們檢視了 GDPval 版本 11e7900cdcac61bc4daf59e65feb238acda98fbf 中的 train Parquet 資料表,確認有 220 個不重複的任務 ID,並僅依產業、職業及各 deliverable_files 清單的長度分組。分析指令碼會檢查來源雜湊值,並使用 DuckDB 1.4.4 重現這些數字。它會暫時下載完整資料表,正常執行結束後將其刪除;輸出不保留提示詞、評分規準、個別任務 ID、交付成果路徑或交付成果。我們未執行任何模型、基準測試或參考資料呈現程式。
若要在 macOS 或 Linux 上使用 Python 3.9 或更新版本於本機重現,請確認 python3 選用該版本:
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1 提供這些指令碼供下載並在本機執行;未另行聲明允許修改或重新散布的授權。來源資料集的使用條款另行適用。
OpenAI 將這個包含 220 個任務的黃金子集描述為開源。固定版本的資料集卡片包含基準測試識別字串,且沒有授權欄位;請查閱適用於您自身用途的條款,勿從卡片標籤或此處的計數推斷使用條款。產業與職業標籤及基準測試的來源仍歸屬於原出處。