跳至主要内容

菜单

研究

参考文件筛选如何改变 GDPval 的公开任务构成

语言: 简体中文

了解哪些任务可能纳入基准测试,有助于解读其得分。在 GDPval 的公开 gold 任务表中,44 个职业最初各有 5 项任务。但要求列出专家参考文件的比较无法以同样方式使用表中每一行:220 行中有 35 行的 deliverable_files 列表为空。

gbench GDPval 实现已经记录了这一总数。我们统计了同一份固定版本 GDPval 快照中,这些空列表在行业和职业之间的分布。44 个职业仍都至少有一行列出了文件,但剩余任务的分布不如原始表均匀。

哪些任务列出了专家提供的参考文件?

这些统计只考察表中是否至少列出一个专家交付成果路径。列出路径并不能证明文件可访问或可渲染。列表为空也不能说明表外是否存在参考文件。

行业公开 gold 表行数列有交付成果列表为空
金融和保险业25178
政府25223
医疗保健和社会救助业25223
信息业251411
制造业25250
专业、科学和技术服务业25241
房地产业及租赁和租借业25205
零售业20164
批发业25250
合计22018535
各行业列有专家交付成果的行数
查看原尺寸图片

条形表示列表非空,不能验证文件是否可访问或可渲染。

该表包含 44 个职业与行业组合,每组 5 项任务。其中 22 组在这一轮筛选后保留全部 5 行,另有 22 组保留 2 至 4 行。每个职业仍有任务,但仅凭这一点已不能说明各职业的任务数相同。

解读汇总结果时,行业之间的差异很有参考价值。信息业和制造业在原始的 220 行中各占 25 行,即 11.4%。假设仅对列表非空的 185 行按任务等权汇总,信息业占 14/185,即 7.6%;制造业占 25/185,即 13.5%。这些数字是任务占比,不是模型得分,也不是对不同职业价值的估计。

评分系统能读取参考文件吗?

185 行的计算结果不是 gbench 最终评分的分母。其文档说明,另外 4 项任务所列的交付成果无法渲染为文本,因此在该快照中剩下 181 项参考文件可渲染的任务。我们没有独立渲染这些文件,也没有运行 gbench。

即使不知道这 4 项任务属于哪些行业,这些计数也能为文档所述的参考文件可渲染任务集提供有用的界限。假设这 4 项任务分别对应列表非空的 185 行中的不同行,那么制造业至少剩下 21 行,信息业最多剩下 14 行。按任务等权计算,这两个界限分别为 21/181(11.6%)和 14/181(7.7%)。实际运行时,用于评分的分母可能不同,因为生成失败、裁判失败和每项任务的尝试次数也会影响结果。这些计数不描述 OpenAI 最初由人工评分的结果。

其他评分方法有不同要求。在 NeMo Gym 的评分标准模式文档(提交 5d6429f)中,LLM 裁判根据任务评分标准为候选交付成果评分。其准备代码不会复制专家输出的 deliverable_files 列表;如果两个评分标准字段均为空,其评分标准验证器会报告 missing_rubric。所有列出的任务输入文件都必须准备就绪,仍需提供候选输出和裁判;准备调用不会固定数据集修订版。我们没有运行 NeMo Gym,也没有测量其覆盖率。其评分标准得分与 gbench 的获胜或平局率是不同的指标。

裁判能看到什么

参考文件的可用性只是比较的一部分。gbench 文档已经指出,220 份评分标准中有 32 份超过其默认的 8,000 字符上限。格式化器按原始顺序保留完整评分项,直到加入下一项会超出上限,然后添加截断标记;如果第一项本身就超出上限,则只显示该项的一部分。字符数不等于 token 数。

我们将该固定版本的格式化器应用于任务表。在列有专家交付成果的 185 行中,默认上限会截断 26 份评分标准,这些行共遗漏 247 个完整评分项。列出的交付成果不一定可渲染,生成失败或生成内容为空也可能导致无法调用裁判,因此这些数字不是经裁判评分的比较次数。举例来说,仅将格式化器上限改为 12,000 或 16,000 字符,就会分别截断这 185 份评分标准中的 2 份或 0 份。我们没有使用这两个设置运行评估器或裁判。遗漏评分项的数量不能说明其重要性,也不能说明裁决是否会改变;在固定上下文窗口中,较高的上限可能给其余内容留下更少空间。应结合实际运行的参考文件和评分计数,检查其记录的截断信息。

评分标准筛选脚本使用 DuckDB 1.4.4 复现这些计数。它会临时下载完整的固定版本任务表,在内存中处理评分标准文本;输出只保留汇总计数,不保留任务 ID 或评分标准文本。正常运行后,它会删除临时表。它只在受限命名空间中执行经过检查和哈希验证的 gbench 格式化器;该命名空间不是安全沙箱。压缩包包含上游许可证和声明。完成下方 DuckDB 设置后,使用 Python 3.11 创建环境,在 macOS 或 Linux 上下载压缩包并运行:

unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json

记录从任务到得分的过程

设置或比较评估时,记录数据集修订版、所需参考文件类型和每项纳入规则。按组报告原始表、参考文件检查后和评分后的计数。分别记录未列出参考文件、参考文件无法读取、生成失败和裁判裁决不可用的原因。否则,单一汇总结果可能掩盖哪些任务未再计入结果。

还应说明剩余任务和各次尝试如何加权。当数量不同时,按任务、按职业和按尝试分别等权回答的是不同问题。它们本身都无法弥补缺失的证据;合适的汇总方式取决于评估旨在衡量什么。

如果你正在自行设计任务集,智能体评估指南介绍了如何定义可观察的检查项,以及如何解读重复试验。

记录每个输入文件的确切版本

固定任务表的版本不一定能固定评估器下载的每个文件。在修订版 4bf6426 的较早公开 GDPval 表中,220 个任务行里有 122 行列出了输入文件。所列的 262 个输入 URL 全部指向仓库中会变动的 main 分支。提供方的元数据显示,到修订版 11e7900时,这些路径中有 62 个的大小和 blob ID 已发生变化;这 62 个路径出现在较早版本表的 20 行中。这些是任务输入,与上文通过 deliverable_files 统计的专家参考输出不同。

这不能证明某次特定评估使用了变更后的输入、文件已损坏或得分发生了变化。但这说明,日后沿用已保存表中指向变动分支的 URL,可能会选取不同版本的输入。我们没有分析输入文件的内容。

在 Inspect Evals 提交 5c092d5 中,GDPval 加载器将任务表固定在修订版 a3848a2。该表与上文较早版本的表逐字节一致,提供方的输入文件元数据也一致。加载器将表中成对的 URL 映射到样本文件映射;Inspect 文档说明,这些映射可以使用 URL。因此,这条源码路径可能在使用固定任务表的同时携带指向变动分支的 URL。我们没有测试 Inspect 的文件下载或缓存,也没有确定任何一次运行实际使用了什么。

评估器也可以在与任务表相同的不可变修订版中解析数据集相对路径。此处检查的 gbench 实现在获取附件时明确指定了固定修订版。应记录修订版,并在可行时验证实际使用的文件。Hugging Face 下载文档说明了如何将会变动的修订版解析为提交,以确保下载一致。

输入 URL 分析脚本使用 DuckDB 1.4.4 复现这些计数。它会临时下载较早版本的任务表,在正常运行后将其删除,输出中不保留任务文本、单个 ID、输入路径或输入内容。可选标志会检查一个路径的响应头和当前 main 修订版;随着 main 变化,结果也可能变化。该检查只发送 HEAD 请求,包括重定向过程中的请求;无法取得的结果不作观测。Python 标准库检查会比较 Inspect 固定版本的表和元数据,并检查固定版本的加载器源码,但不会运行加载器。表哈希检查会将完整表读入内存,但不解析或保留任务内容。脚本不会请求输入文件的内容主体。

完成下方 DuckDB 设置后,在 macOS 或 Linux 上运行以下检查:

.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py

统计方法

在参考文件可用性普查中,我们检查了 GDPval 修订版 11e7900cdcac61bc4daf59e65feb238acda98fbf 的 train Parquet 表,验证了 220 个不同的任务 ID,并且仅按行业、职业和各 deliverable_files 列表的长度分组。分析脚本会检查源文件哈希,并使用 DuckDB 1.4.4 复现这些计数。它会临时下载完整表,在正常运行后将其删除;输出不保留提示词、评分标准、单个任务 ID、交付成果路径或交付成果。我们没有运行模型、基准测试或参考文件渲染器。

如需在 macOS 或 Linux 上使用 Python 3.9 或更高版本在本地复现,请确保 python3 选择的是该版本:

python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json

sapien1 提供这些脚本供下载并在本地运行;未声明额外的修改或再分发许可。源数据集的条款另行适用。

OpenAI 将这 220 项任务组成的 gold 子集描述为已开源。固定版本的数据集卡包含基准测试金丝雀标记,但没有许可证字段;请查明适用于你自身用途的条款,不要根据卡片标签或此处的计数推断。行业和职业标签及基准测试仍归属于其来源。