# 兩個基準測試分數可以比較嗎？

先釐清要用分數支持什麼決定。引用歷史結果時，要找出當時發布的確切資料表。如果要在兩個代理之間做選擇，先確認兩者是否依照相同規則處理相同案例，再根據這些案例的結果進行比較。以下四個公開範例說明這些檢查的重要性。

## 找出引用所依據的資料表

LiveBench 對兩份不同的來源資料表使用了相同的排行榜標籤 `2025-05-30`。兩份固定在特定修訂版本的表格有 30 個共同的模型標籤。其中 28 個標籤在獨立的 Coding 類別中的兩項分數至少有一項在較晚的表格更高。維護者說明，他們變更了評測框架和步數上限，並重新執行 Agentic Coding。從來源資料表無法判斷獨立的 Coding 類別中分數變動的原因。記錄引用的數值時，一併保存表格修訂版本或檔案雜湊值，並將基準測試的日期標籤放在獨立欄位。[較早的 LiveBench 表格](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [較晚的 LiveBench 表格](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [維護者的變更紀錄](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## 比較成功率前，先配對案例

兩組範例資源上限各自從 Terminal-Bench v4.1.0 的 66 項任務中選出 44 項。只有 36 個任務 ID 同時出現在兩組選集中。兩組上限分別為 4 個 CPU、8,192 MB 記憶體與 10,240 MB 儲存空間，以及 2 個 CPU、16,384 MB 記憶體與 20,480 MB 儲存空間。資源篩選器將每一組上限套用至任務環境與驗證環境所宣告的資源。以下結果都是虛構的。[Terminal-Bench 的資源設定與篩選器](https://sapien1.com/zh-Hant-TW/research/terminal-bench-resource-settings)

假設代理 A 在第一組選集中解決了 32 個案例，代理 B 在第二組選集中解決了 34 個案例。每組都有 8 個案例不在共同集合中。因此，在 36 個共同案例中，A 可能解決了 24 到 32 個，B 可能解決了 26 到 34 個。如果 A 解決了 32 個共同案例，B 解決了 26 個，A 在共同集合中領先 6 個。如果 A 解決了 24 個，B 解決了 34 個，B 則領先 10 個。兩種情況都符合已報告的總數。

| 虛構結果 | 各自 44 個案例中的解決數 | 在 36 個共同案例中可能解決的數量 |
| --- | ---: | ---: |
| 代理 A | 32 | 24–32 |
| 代理 B | 34 | 26–34 |

在這個例子中，總數無法決定兩者在共同案例上的排名。請索取逐案例結果，或使用同一份已驗證的案例清單來評估兩個代理。如果執行使用的資源預算不同，請將結果描述為不同配置之間的比較。要衡量更換代理本身的影響，應固定預算及其他執行條件。排序前，先確定共同的分母，並決定如何計算缺漏、失敗或未評分的執行結果。報告依此得出的涵蓋率。

## 確認評分器使用相同的輸入

SWE-bench Verified 的 2026 年 2 月與 8 月測試快照包含相同的 500 個案例 ID。8 月的兩次提交，從一個 Astropy 案例移除了 1 筆預期的回歸測試項目，也從一個 Django 案例移除了 5 筆。修訂版本顯示儲存的清單有哪些變更。若要衡量分數受影響的程度，請固定其他設定，用兩個修訂版本評估同一批候選修補程式。比較代理時，請使用相同的資料集修訂版本、評分器、執行環境與評估選項。[2 月測試快照](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [8 月測試快照](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [SWE-bench 的第一項變更](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [SWE-bench 的第二項變更](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [評分器原始碼](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## 使用逐案例結果檔案前先驗證

Every Eval Ever 提供彙整紀錄與集合索引，方便查找逐樣本的結果。在資料儲存庫的一個固定修訂版本中，兩處來源對關聯樣本檔案給出了不同的 SHA-256 值。這涵蓋 `MMLU-Pro` 索引的全部 14 筆紀錄，以及 `gsm8k` 索引的全部 11 筆紀錄。下載每個集合列出的第一個樣本檔案後，得到的雜湊值與索引一致，彙整紀錄中的檢查碼則不同。這項檢查發現了檔案層級的不一致，並未評估分數是否正確，也未判定不一致的原因。[MMLU-Pro 索引](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K 索引](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [GSM8K 彙整紀錄範例](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

保留配對結果時，一併保存不可變的檔案位置與經過驗證的雜湊值。若發布者提供的資訊互相矛盾，應先釐清差異，再把檔案當成分數的佐證。

## 記錄比較所用的資訊

| 項目 | 應儲存的內容 |
| --- | --- |
| 公開結果 | 來源網址、基準測試標籤、表格修訂版本或雜湊值、指標和單位 |
| 案例與試驗 | 資料集修訂版本與分割、確切的案例與試驗 ID、評分分母與排除規則 |
| 執行條件 | 代理與模型的修訂版本、工具、評分器與設定、預算、環境 ID，以及可取得的映像檔雜湊值 |
| 證據 | 逐案例輸出或結果、不可變的檔案位置、經過驗證的雜湊值 |

效能結論應限於紀錄能支持的範圍。引用歷史結果時，應說明確切來源。比較代理時，應報告指定條件下的逐案例配對結果與涵蓋率。
