跳至主要内容

菜单

用实际要完成的工作评估 AI 智能体

页面语言: 简体中文

请提供一个有代表性的任务,以及你的智能体应达成的结果。我们可以确定测试范围,明确检查项目,并提供报告,列出通过、未通过和未评分的运行记录。 向 sapien1 描述你的项目

AI 智能体评估检验智能体能否在实际会遇到的信息、工具和约束条件下完成任务。先定义预期结果,再查看发生了哪些变化,并检查产生结果的步骤。

sapien1 帮助团队界定任务集、评估测试数据并开发智能体测试环境。先选定一个工作流程,明确需要借助评估作出什么决定。

把工作流程转化为可测试的任务

任务需要初始状态、请求和可观察的成功标准。智能体最后发出的消息只是证据的一部分。生成的文件、留下的记录或工具的状态也能表明工作是否完成。

Anthropic 的智能体评估指南区分了任务、每次试验、评分器、执行轨迹以及环境中的结果。这些区分有助于判断失败来自智能体、测试还是环境。

例如,一位客户要求客服智能体修改收货地址。测试可以向智能体提供订单记录、客户请求及适用的政策。检查项应反映实际任务:

任务环节检查示例
识别订单智能体选中了请求所指的订单
应用政策决定符合给定规则和订单状态
执行修改允许修改时,订单记录显示客户要求的新地址;否则地址保持原样。
保留其他信息商品、数量及不相关的记录保持不变
解释结果回复准确说明执行了什么操作,或还需要哪些信息

这是一份任务规格示例。具体检查项取决于您的政策和工作流程。

检查授权及操作后的状态

假设用户授权智能体把订单 A 的地址从 1 Example Lane 改为 2 Example Lane。订单 B 的初始地址是 3 Example Lane,不在此次请求范围内。以下预先编写的虚构轨迹说明模拟授权检查可能记录的内容:

智能体向工具发出的请求授权决定记录的结果
订单 A:将地址改为 2 Example Lane允许已执行修改
订单 B:将地址改为 4 Example Lane拒绝已阻止修改

轨迹同时记录了获准的请求和超出范围的请求。本例的状态检查表明,订单 A 的地址已变为 2 Example Lane,订单 B 仍为 3 Example Lane。拒绝请求和执行修改是不同的结果。请把授权决定、最终状态和智能体回复一起保留。

Anthropic 的智能体评估指南区分了一次试验的轨迹及其产生的状态。AWS 的工具授权指南介绍了如何检查智能体向工具发出的请求,并审查允许或拒绝的决定。这条虚构轨迹只说明一种检查方法,不能证明系统安全。

用已经办结的案例构建测试

假设另一段虚构的客服记录记载了以下过程。10:00,身份已经核实的订单 A 所有人要求把订单地址从 1 Example Lane 改为 2 Example Lane。订单当时正在备货,尚未发出。适用政策要求在发货前按已核实身份的所有人的请求修改地址。10:05,客服备注记载地址已修改。

要检验 10:00 时的决定,请向智能体提供请求、订单的原始状态和当时适用的政策,并让测试工具从该状态启动。在智能体执行操作的过程中,订单应保持在备货状态。把 10:05 的备注留给审核人员,不要把它放进本次测试中智能体的初始提示或其工具可访问的记录。否则智能体可能在接到操作要求前就看见已完成的结果。

10:00 时适用的政策告诉审核人员应当看到什么结果。订单 A 的最终地址应为 2 Example Lane。测试还应要求不相关的记录保持不变。10:05 的备注记录了实际发生的事。请根据政策判断操作是否正确。如果无法确定适用政策或操作前状态,请将该案例留待审查。使用真实记录前,应确认使用权限并妥善处理敏感字段。

Inspect 的数据集指南区分了交给模型的输入和可用于评分的参考目标,也说明示例文件可以复制到隔离环境中。请检查提示、检索到的材料、工具响应和隔离环境中的文件,确认只有审核人员可见的信息没有泄露给智能体。即使数据集另设评分目标,也要做这些检查。

选择能支撑决策的证据

能观察到结果时,直接检查,例如字段是否改变、计算结果是否正确、文件是否已生成或测试是否通过。需要人工判断时,例如判断解释是否清晰、研究型回答是否支撑结论,请使用书面评分标准。

自动评分器有助于大规模审核输出。在依赖其分数前,请用有代表性的样例比较它的判断和人工审核结果。记录分歧,以便改进评分标准或评分器。

检查模型有没有用到文章

记录任务输入、工具、智能体配置和结果。如果多次运行之间的差异会影响决策,就重复试验。审查失败的运行,也审查出乎意料的成功。高分可能反映出色表现,也可能掩盖测试薄弱之处。Anthropic 的指南介绍了评分器和试验设计方面的注意事项。

评分前先核对案例 ID

从历史记录构建案例时,请在预期结果和测试结果中都保留案例 ID。按每个案例一条结果打分前,分别用预期 ID 清单核对两份文件。每个预期 ID 必须在每份文件中恰好出现一次。解决 ID 缺失、重复或不在预期清单中的问题。反复运行时,还应记录试验 ID。

假设应有案例 A 和 B。两份文件都包含 A 和一行缺少 ID 的记录。A 的预期结果与测试结果不一致,两个没有 ID 的行则标有相同的标签。即使通过一对一关系检查,pandas 的合并操作也可能把缺失的键互相匹配。直接数合并后的行会得到两对中有一对一致,但只有 A 匹配到预期 ID。可识别子集只有一个案例,一致数为零,覆盖了两个预期案例中的一个。由于缺少 ID,无法知道剩下两行中是否有一行属于 B,因而无法确定两个预期案例的总分。如果有意只对部分案例评分,请同时报告分数和覆盖范围。

比较基准测试分数

结合决策解读重复试验的结果

假设团队对两项任务各测试三次,并在每次试验前恢复任务的初始状态。检查得出以下虚构结果:

任务第一次试验第二次试验第三次试验
A通过未通过通过
B通过通过未通过

六次试验中有四次通过。两项任务均至少通过一次,但没有一项三次都通过。两种汇总回答的问题不同。如果系统能可靠地检查多个候选输出并从中选择,偶尔得到正确结果也可能有价值。如果每次试验都必须独立奏效,则需要关注持续成功。一次通过并不代表其余试验安全或正确。

现在假设第七次试验在评分前停止,原因是隔离环境发生已确认的外部故障。六次有评分的试验中四次通过,全部七次试验中也只有四次确认通过。未评分的试验既不是已确认的成功,也不是已确认的智能体失败。第一个比例统计参与评分的试验,第二个比例表示确认通过的试验占全部试验的比例。不同的任务权重或指标设置可能改变报告结果。

这些数字只说明上述虚构检查的情况,不能用来确定生产环境的成功率。请记录任务数量、每项任务的试验次数、所用检查,以及因隔离环境故障等基础设施问题而失效的试验。请将失效试验与智能体失败分开报告,明确每项汇总涵盖了哪些试验。重复一项任务有助于看出该任务上的波动,也应测试更广泛的情形。Anthropic 的智能体评估指南解释了至少成功一次和持续成功的度量如何服务于不同决策。

任务覆盖范围可能在评分前发生变化。我们的GDPval 参考成果覆盖范围分析发现,公开的 220 行任务中,有 185 行至少列出一个专家交付成果的路径。这些行的行业构成不同于整张表。列出路径并不能证明文件可访问或可显示。

会改变状态的操作应在测试环境中执行

如果智能体要编辑记录、操作软件或使用多个工具,就需要能执行这些操作的环境。可复现的测试环境让您能够恢复初始状态,并在运行后检查结果。

OpenEnv 是构建智能体隔离环境的一种开放框架。先定义任务、智能体能看到的信息、能执行的操作以及成功的验证方式,再选择框架。

要了解任务声明的资源可能有何不同,可参阅Terminal-Bench 中 66 项任务的资源设置。

首次评估的需求提纲

说明工作流程、一项有代表性的任务及其成功结果是什么样的。列出智能体使用的工具、接收的信息,以及哪些失败会改变发布决定。如果已有示例,请说明来源和覆盖范围。

确定项目范围后,可以明确任务集、环境要求、评分方法和结果审核流程。如果缺的是示例本身,请从寻找和获取数据开始。

通过电子邮件联系我们,讨论智能体评估