研究
两个基准测试分数可以比较吗?
先明确这些分数要支持什么决定。引用历史结果时,要找出当时发布的确切数据表。如果要在两个智能体之间作选择,先确认它们是否按相同规则处理了相同案例,再根据这些案例的结果进行比较。下面四个公开示例说明了这些检查为什么重要。
找到引用所依据的数据表
LiveBench 对两份不同的源表使用了相同的排行榜标签 2025-05-30。在两份固定到具体修订版本的表中,有 30 个共同的模型标签。其中 28 个标签在独立的 Coding 类别中的两个分数至少有一个在较晚的表中更高。维护者说明,他们更改了评测框架和步数限制,并重新运行了 Agentic Coding。源表无法说明独立的 Coding 类别中分数变化的原因。保存引用数字时,一并保存表格修订版本或文件哈希值,并将基准测试的日期标签单独记录。较早的 LiveBench 表 · 较晚的 LiveBench 表 · 维护者的变更日志
比较成功率之前先匹配案例
两个示例资源上限分别从 Terminal-Bench v4.1.0 的 66 项任务中选出 44 项。只有 36 个任务 ID 同时出现在两个选集中。两组上限分别为 4 个 CPU、8,192 MB 内存和 10,240 MB 存储,以及 2 个 CPU、16,384 MB 内存和 20,480 MB 存储。资源过滤器将每组上限应用于任务环境和验证环境声明的资源。下文的结果是虚构的。Terminal-Bench 的资源设置和过滤器
假设智能体 A 在第一个选集中解决了 32 个案例,而 B 在第二个选集中解决了 34 个。每个选集都有 8 个不在共同集合中的案例。因此,在 36 个共同案例中,A 可能解决了 24 到 32 个,B 可能解决了 26 到 34 个。如果 A 解决了 32 个共同案例而 B 解决了 26 个,在共同集合上 A 就领先 6 个。如果 A 解决了 24 个而 B 解决了 34 个,B 就领先 10 个。这两种情况都符合报告的总数。
| 虚构结果 | 在各自 44 个案例中解决的数量 | 在 36 个共同案例中可能解决的数量 |
|---|---|---|
| 智能体 A | 32 | 24–32 |
| 智能体 B | 34 | 26–34 |
在这个例子中,总数无法确定两者在共同案例上的排名。应索取逐案例结果,或用同一份经过核实的案例列表评估两个智能体。如果运行使用了不同的资源预算,就把结果描述为两种配置之间的比较。要单独衡量更换智能体的影响,请保持预算和其他运行条件不变。排序前,先确定共同的分母,以及如何计入缺失、失败或未评分的运行。报告由此得到的覆盖率。
确认评分器使用了相同的输入
SWE-bench Verified 在 2026 年 2 月和 8 月的测试快照包含相同的 500 个案例 ID。8 月的两次提交分别从一个 Astropy 案例中移除了 1 条预期回归测试记录,从一个 Django 案例中移除了 5 条。修订版本说明了已保存列表中发生了哪些变化。要测量对分数的影响,应在其他设置保持不变的情况下,用两个修订版本评估同一批候选补丁。比较两个智能体时,应使用相同的数据集修订版本、评分器、执行环境和评估选项。2 月测试快照 · 8 月测试快照 · SWE-bench 的第一项变更 · SWE-bench 的第二项变更 · 评分器源代码
使用逐案例结果文件之前先核验
Every Eval Ever 提供汇总记录和集合索引,可用于查找逐样本结果。在数据存储库的一个固定修订版本中,两处来源对关联的样本文件给出了不同的 SHA-256 值,包括 MMLU-Pro 索引的全部 14 条记录和 gsm8k 索引的全部 11 条记录。下载每个集合列出的第一个样本文件后,得到的哈希值与索引一致,而汇总记录中的校验值不同。这项检查发现了文件层面的不一致,并未评估分数是否正确,也未确定不一致的原因。MMLU-Pro 索引 · GSM8K 索引 · GSM8K 汇总记录示例
保存所用的配对结果时,一并保存不可变的文件位置和已核验的哈希值。如果发布者给出的信息互相矛盾,要先解决不一致,再用文件来证明分数。
记录比较所用的信息
| 项目 | 应保存的内容 |
|---|---|
| 公开结果 | 来源网址、基准测试标签、表格修订版本或哈希值、指标和单位 |
| 案例和试验 | 数据集修订版本及划分、确切的案例和试验 ID、评分分母及排除规则 |
| 运行条件 | 智能体和模型的修订版本、工具、评分器和配置、预算、环境 ID,以及可获得的镜像哈希值 |
| 证据 | 逐案例输出或结果、不可变的文件位置、已核验的哈希值 |
性能结论应限于记录能支持的范围。引用历史结果时,应明确其确切来源。比较智能体时,应报告指定条件下的逐案例配对结果和覆盖率。