跳至主要內容

選單

研究

兩個基準測試分數可以比較嗎?

語言: 繁體中文(台灣)

先釐清要用分數支持什麼決定。引用歷史結果時,要找出當時發布的確切資料表。如果要在兩個代理之間做選擇,先確認兩者是否依照相同規則處理相同案例,再根據這些案例的結果進行比較。以下四個公開範例說明這些檢查的重要性。

找出引用所依據的資料表

LiveBench 對兩份不同的來源資料表使用了相同的排行榜標籤 2025-05-30。兩份固定在特定修訂版本的表格有 30 個共同的模型標籤。其中 28 個標籤在獨立的 Coding 類別中的兩項分數至少有一項在較晚的表格更高。維護者說明,他們變更了評測框架和步數上限,並重新執行 Agentic Coding。從來源資料表無法判斷獨立的 Coding 類別中分數變動的原因。記錄引用的數值時,一併保存表格修訂版本或檔案雜湊值,並將基準測試的日期標籤放在獨立欄位。較早的 LiveBench 表格 · 較晚的 LiveBench 表格 · 維護者的變更紀錄

比較成功率前,先配對案例

兩組範例資源上限各自從 Terminal-Bench v4.1.0 的 66 項任務中選出 44 項。只有 36 個任務 ID 同時出現在兩組選集中。兩組上限分別為 4 個 CPU、8,192 MB 記憶體與 10,240 MB 儲存空間,以及 2 個 CPU、16,384 MB 記憶體與 20,480 MB 儲存空間。資源篩選器將每一組上限套用至任務環境與驗證環境所宣告的資源。以下結果都是虛構的。Terminal-Bench 的資源設定與篩選器

假設代理 A 在第一組選集中解決了 32 個案例,代理 B 在第二組選集中解決了 34 個案例。每組都有 8 個案例不在共同集合中。因此,在 36 個共同案例中,A 可能解決了 24 到 32 個,B 可能解決了 26 到 34 個。如果 A 解決了 32 個共同案例,B 解決了 26 個,A 在共同集合中領先 6 個。如果 A 解決了 24 個,B 解決了 34 個,B 則領先 10 個。兩種情況都符合已報告的總數。

虛構結果各自 44 個案例中的解決數在 36 個共同案例中可能解決的數量
代理 A3224–32
代理 B3426–34

在這個例子中,總數無法決定兩者在共同案例上的排名。請索取逐案例結果,或使用同一份已驗證的案例清單來評估兩個代理。如果執行使用的資源預算不同,請將結果描述為不同配置之間的比較。要衡量更換代理本身的影響,應固定預算及其他執行條件。排序前,先確定共同的分母,並決定如何計算缺漏、失敗或未評分的執行結果。報告依此得出的涵蓋率。

確認評分器使用相同的輸入

SWE-bench Verified 的 2026 年 2 月與 8 月測試快照包含相同的 500 個案例 ID。8 月的兩次提交,從一個 Astropy 案例移除了 1 筆預期的回歸測試項目,也從一個 Django 案例移除了 5 筆。修訂版本顯示儲存的清單有哪些變更。若要衡量分數受影響的程度,請固定其他設定,用兩個修訂版本評估同一批候選修補程式。比較代理時,請使用相同的資料集修訂版本、評分器、執行環境與評估選項。2 月測試快照 · 8 月測試快照 · SWE-bench 的第一項變更 · SWE-bench 的第二項變更 · 評分器原始碼

使用逐案例結果檔案前先驗證

Every Eval Ever 提供彙整紀錄與集合索引,方便查找逐樣本的結果。在資料儲存庫的一個固定修訂版本中,兩處來源對關聯樣本檔案給出了不同的 SHA-256 值。這涵蓋 MMLU-Pro 索引的全部 14 筆紀錄,以及 gsm8k 索引的全部 11 筆紀錄。下載每個集合列出的第一個樣本檔案後,得到的雜湊值與索引一致,彙整紀錄中的檢查碼則不同。這項檢查發現了檔案層級的不一致,並未評估分數是否正確,也未判定不一致的原因。MMLU-Pro 索引 · GSM8K 索引 · GSM8K 彙整紀錄範例

保留配對結果時,一併保存不可變的檔案位置與經過驗證的雜湊值。若發布者提供的資訊互相矛盾,應先釐清差異,再把檔案當成分數的佐證。

記錄比較所用的資訊

項目應儲存的內容
公開結果來源網址、基準測試標籤、表格修訂版本或雜湊值、指標和單位
案例與試驗資料集修訂版本與分割、確切的案例與試驗 ID、評分分母與排除規則
執行條件代理與模型的修訂版本、工具、評分器與設定、預算、環境 ID,以及可取得的映像檔雜湊值
證據逐案例輸出或結果、不可變的檔案位置、經過驗證的雜湊值

效能結論應限於紀錄能支持的範圍。引用歷史結果時,應說明確切來源。比較代理時,應報告指定條件下的逐案例配對結果與涵蓋率。