# 两个基准测试分数可以比较吗？

先明确这些分数要支持什么决定。引用历史结果时，要找出当时发布的确切数据表。如果要在两个智能体之间作选择，先确认它们是否按相同规则处理了相同案例，再根据这些案例的结果进行比较。下面四个公开示例说明了这些检查为什么重要。

## 找到引用所依据的数据表

LiveBench 对两份不同的源表使用了相同的排行榜标签 `2025-05-30`。在两份固定到具体修订版本的表中，有 30 个共同的模型标签。其中 28 个标签在独立的 Coding 类别中的两个分数至少有一个在较晚的表中更高。维护者说明，他们更改了评测框架和步数限制，并重新运行了 Agentic Coding。源表无法说明独立的 Coding 类别中分数变化的原因。保存引用数字时，一并保存表格修订版本或文件哈希值，并将基准测试的日期标签单独记录。[较早的 LiveBench 表](https://github.com/LiveBench/livebench.github.io/blob/6d7587be7c5450f8f5366227f6b87214dc89b8c0/public/table_2025_05_30.csv) · [较晚的 LiveBench 表](https://github.com/LiveBench/livebench.github.io/blob/9dfcb16b40d9bc2c6822af98c21b985c8f4dddab/public/table_2025_05_30.csv) · [维护者的变更日志](https://github.com/LiveBench/LiveBench/blob/1d1006a0d10ece52c2e706f8a208a659b5bbb96f/changelog.md#L20-L26)

## 比较成功率之前先匹配案例

两个示例资源上限分别从 Terminal-Bench v4.1.0 的 66 项任务中选出 44 项。只有 36 个任务 ID 同时出现在两个选集中。两组上限分别为 4 个 CPU、8,192 MB 内存和 10,240 MB 存储，以及 2 个 CPU、16,384 MB 内存和 20,480 MB 存储。资源过滤器将每组上限应用于任务环境和验证环境声明的资源。下文的结果是虚构的。[Terminal-Bench 的资源设置和过滤器](https://sapien1.com/zh-Hans/research/terminal-bench-resource-settings)

假设智能体 A 在第一个选集中解决了 32 个案例，而 B 在第二个选集中解决了 34 个。每个选集都有 8 个不在共同集合中的案例。因此，在 36 个共同案例中，A 可能解决了 24 到 32 个，B 可能解决了 26 到 34 个。如果 A 解决了 32 个共同案例而 B 解决了 26 个，在共同集合上 A 就领先 6 个。如果 A 解决了 24 个而 B 解决了 34 个，B 就领先 10 个。这两种情况都符合报告的总数。

| 虚构结果 | 在各自 44 个案例中解决的数量 | 在 36 个共同案例中可能解决的数量 |
| --- | ---: | ---: |
| 智能体 A | 32 | 24–32 |
| 智能体 B | 34 | 26–34 |

在这个例子中，总数无法确定两者在共同案例上的排名。应索取逐案例结果，或用同一份经过核实的案例列表评估两个智能体。如果运行使用了不同的资源预算，就把结果描述为两种配置之间的比较。要单独衡量更换智能体的影响，请保持预算和其他运行条件不变。排序前，先确定共同的分母，以及如何计入缺失、失败或未评分的运行。报告由此得到的覆盖率。

## 确认评分器使用了相同的输入

SWE-bench Verified 在 2026 年 2 月和 8 月的测试快照包含相同的 500 个案例 ID。8 月的两次提交分别从一个 Astropy 案例中移除了 1 条预期回归测试记录，从一个 Django 案例中移除了 5 条。修订版本说明了已保存列表中发生了哪些变化。要测量对分数的影响，应在其他设置保持不变的情况下，用两个修订版本评估同一批候选补丁。比较两个智能体时，应使用相同的数据集修订版本、评分器、执行环境和评估选项。[2 月测试快照](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/91aa3ed51b709be6457e12d00300a6a596d4c6a3/data) · [8 月测试快照](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/tree/78f471bf655a3137b2e8a75af1501690ec009ec3/data) · [SWE-bench 的第一项变更](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/96dae8dbbfc0ff558933ca8b6ad1a8c3ad82729f) · [SWE-bench 的第二项变更](https://huggingface.co/datasets/SWE-bench/SWE-bench_Verified/commit/e33ae570d0e70f8c0efc2c2ff0bc38e52af8201e) · [评分器源代码](https://github.com/SWE-bench/SWE-bench/blob/02e7a74ffd0b707aab73d203fe87bdc7c76afc8e/swebench/harness/grading.py#L230-L247)

## 使用逐案例结果文件之前先核验

Every Eval Ever 提供汇总记录和集合索引，可用于查找逐样本结果。在数据存储库的一个固定修订版本中，两处来源对关联的样本文件给出了不同的 SHA-256 值，包括 `MMLU-Pro` 索引的全部 14 条记录和 `gsm8k` 索引的全部 11 条记录。下载每个集合列出的第一个样本文件后，得到的哈希值与索引一致，而汇总记录中的校验值不同。这项检查发现了文件层面的不一致，并未评估分数是否正确，也未确定不一致的原因。[MMLU-Pro 索引](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/MMLU-Pro.jsonl) · [GSM8K 索引](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/indexes/by_collection/gsm8k.jsonl) · [GSM8K 汇总记录示例](https://huggingface.co/datasets/evaleval/EEE_datastore/blob/bf44ba78f3ca3b50cd53b1d7297d75542d9e1855/flat/objects/ab/91/ab91781f-b940-4801-aa11-4a84e276b099.json)

保存所用的配对结果时，一并保存不可变的文件位置和已核验的哈希值。如果发布者给出的信息互相矛盾，要先解决不一致，再用文件来证明分数。

## 记录比较所用的信息

| 项目 | 应保存的内容 |
| --- | --- |
| 公开结果 | 来源网址、基准测试标签、表格修订版本或哈希值、指标和单位 |
| 案例和试验 | 数据集修订版本及划分、确切的案例和试验 ID、评分分母及排除规则 |
| 运行条件 | 智能体和模型的修订版本、工具、评分器和配置、预算、环境 ID，以及可获得的镜像哈希值 |
| 证据 | 逐案例输出或结果、不可变的文件位置、已核验的哈希值 |

性能结论应限于记录能支持的范围。引用历史结果时，应明确其确切来源。比较智能体时，应报告指定条件下的逐案例配对结果和覆盖率。
