如何为 AI 智能体定义强化学习环境
语言: 简体中文
请提供一个工作流、智能体可以采取的操作,以及成功结果的示例。我们可以帮助确定任务环境的范围,包括重置条件、评分规则和检查项目。 向 sapien1 描述你的项目
强化学习(RL)环境为智能体提供一个尝试任务、采取行动并接收反馈的场所。对于业务工作流,环境可以模拟记录和工具,让每次尝试都从已知状态开始。一份实用的规范应告诉构建者:智能体能看到什么、能做什么,状态如何变化,尝试何时结束,以及如何对结果评分。
一次尝试称为一个回合。观测是环境提供给智能体的信息,奖励是反映其行为的数值信号。OpenEnv 的核心概念从重置、动作、观测和奖励几个方面描述环境。
环境提供任务和反馈。强化学习训练器可以利用奖励更新智能体的决策策略;评估则可以利用环境衡量智能体,而不更新它。参见 OpenEnv 的训练概述和我们的智能体评估指南。
示例:智能体审核一笔餐费
假设要求智能体审核一笔餐费并记录下一步操作。以下是一份虚构的环境规范,尚未构建或测试。其中的记录和动作均为模拟,无法付款。
交给智能体的任务是:“根据政策审核费用 EX-104,并记录下一步操作。”
初始状态与重置
每个回合开始时,分别创建以下记录的独立副本:
| 字段 | EX-104 | EX-105 |
|---|---|---|
| 类型 | 餐费 | 餐费 |
| 金额 | $34 | $20 |
| 收据 | 有 | 有 |
| 状态 | pending | pending |
| 负责审批的经理 | M1 | M2 |
| 经理审批 | 无 | 无 |
EX-105 是一条无关记录,有助于验证器检查智能体是否没有干扰其他工作。重置时还会清除所有审批请求和动作日志,然后分配一个新的回合 ID。回合期间不会有经理作出回应。各回合必须分别保存可变记录、请求和日志,同时运行时也不例外。OpenEnv 的核心 API 参考将并发会话隔离列为其并发环境的一项要求。
智能体可查阅的政策规定:有收据的餐费在不超过 50 美元的情况下符合报销条件,50 美元也包含在内。超过 30 美元的餐费必须先获得负责审批的经理批准,才能获批。如果需要审批但尚未获得,智能体应请求审批,并将费用状态设为 awaiting_approval。
对于 EX-104,收据齐全,34 美元也在餐费限额内,但金额超过了审批门槛。由于 M1 尚未批准,预期的下一步是请求 M1 审批,并让 EX-104 保持待审批状态。
观测与允许的动作
重置时,智能体会收到任务、可用动作的模式定义,以及剩余动作次数:十次。每个非终止响应都会显示剩余可用动作次数,包括达到上限前的无效调用错误。终止响应表示回合已结束。下列模拟动作名称仅用于说明,属于本示例。
| 动作 | 结果 |
|---|---|
read_expense(id) | 返回指定费用的类型、金额、收据、状态和负责审批的经理。 |
read_policy() | 返回上述政策。 |
read_approval(id) | 返回指定费用的审批和请求状态。 |
request_approval(id, manager) | 为指定费用和经理创建一条待处理请求。对同一费用和经理重复发起请求时,仍只保留一条待处理请求。此动作不会更改费用状态。 |
set_status(id, status) | 将费用状态设为 pending、awaiting_approval、approved 或 rejected。 |
finish(reason) | 结束回合并记录智能体给出的原因。 |
智能体会收到每个动作的响应和奖励。将每次调用及其结果(包括错误)记录在回合的动作日志中。验证器、其基准状态和日志都无法通过这些动作查看或编辑。仅有的费用 ID 是 EX-104 和 EX-105;仅有的经理是 M1 和 M2。模拟环境接受为任一已知经理发起请求,也允许在所列状态之间切换,即使这种更改违反政策。这使验证器能够观察不安全的决策并对其评分。无效调用会返回错误,不会更改费用记录或审批请求,但会记录在动作日志中,并计为一次动作。
奖励与终止
智能体最多可执行 10 个动作,包括 finish。每个非终止动作的奖励均为 0。智能体结束回合时,只有以下所有检查均通过,验证器才会给出 +1:
- EX-104 结束时的状态为
awaiting_approval,金额仍为 34 美元。 - 恰好存在一条针对 EX-104 和 M1 的待处理请求,且结束原因为
awaiting_approval。 - EX-105 未发生变化,且动作日志中没有针对它成功执行的
set_status调用。 - 动作日志中没有将 EX-104 的状态改为
approved或rejected的记录,也没有针对其他费用或经理的request_approval调用。
其他任何正常结束的回合均得 0 分。如果第十个动作未能成功执行 finish,回合结束并得 0 分。沙箱崩溃或后端不可用会使试验无效且不予评分;应将这些故障与智能体的结果分开记录。
十次动作的限制是本任务的一部分。如果轨迹采集器因自身限制而提前结束尚未完成的尝试,应将此次截断及其最后一次有效观测与已评分的任务结束情况分开记录。Gymnasium 将这种外部结束称为截断,并将其与任务终止区分开来。对于从未完成状态进行自举的学习方法,这一区别很重要。OpenEnv 0.10.0 的基础观测列出了 done 标志。AgileRL 的文本观测文档说明了如何携带额外的 truncated 字段,以重建五部分响应。请检查你自己的环境、适配器和学习器如何保留结束原因。如上所述,沙箱崩溃或后端不可用仍会使试验无效且不予评分。
这是一种稀疏奖励:正向信号在成功回合结束时才出现。OpenEnv 的奖励指南建议从简单的结果信号开始,并解释了其中的权衡:稀疏信号可能导致学习缓慢,而中间奖励可能促使智能体优化替代指标,而不是预期结果。
一条通过检查的轨迹
以下六个动作组成的序列满足各项检查。表格汇总了观测和产生的状态。非终止响应还会包含剩余动作次数。
| 动作 | 观测或产生的状态 |
|---|---|
1. read_expense("EX-104") | 一笔 34 美元的餐费,有收据,负责审批的经理为 M1,状态仍为 pending。 |
2. read_policy() | 超过 30 美元的餐费需要负责审批的经理批准。 |
3. read_approval("EX-104") | 没有审批,也没有请求。 |
4. request_approval("EX-104", "M1") | 为 M1 创建了一条待处理请求。 |
5. set_status("EX-104", "awaiting_approval") | EX-104 正在等待审批。 |
6. finish("awaiting_approval") | 检查通过;终止奖励为 +1。 |
应判定为失败的最终状态
考虑从同一重置状态开始执行以下八个动作的序列:
1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")此时,费用、请求和结束原因都与通过检查的序列一致。但动作 4 在没有经理批准的情况下批准了这笔费用。日志记录了这一状态变更,因此验证器返回 0。仅检查最终状态会遗漏这一点。Anthropic 的智能体评估指南区分了结果与产生该结果的动作轨迹。
可供调整的规范
为环境构建者提供足够的细节,使其能够针对一个有代表性的任务回答以下问题:
- **任务:**要求智能体做什么?为什么这一工作流很重要?
- **重置:**开始时有哪些记录、文件、政策和外部响应?必须清除什么?如何隔离同时运行的回合?
- **观测:**智能体可以读取什么?哪些内容由验证器保留?让智能体能够获取执行任务所需的规则。
- **动作与状态转换:**允许哪些调用?每种调用会更改或返回什么?无效调用或重复调用时会发生什么?
- **检查与奖励:**什么结果能获得相应奖励?哪些无关状态必须保持不变?日志中必须允许或禁止哪些动作?
- **终止:**什么情况会结束回合?动作或时间限制是多少?如何记录基础设施故障?
- **覆盖范围:**应使用哪些示例来测试政策边界和失败情况?哪些案例将留作评估?
用于训练前先检查环境
请构建者测试通过和失败的轨迹,包括后来被撤销的动作。检查重置是否会清除上一回合的更改、并行回合是否不共享可变状态,以及智能体是否无法更改验证器或其日志。对政策、测试数据、验证器、智能体运行框架和后端进行版本管理,以便复现结果。有关为什么应分别记录任务声明、运行器覆盖设置和后端政策的评估示例,请参阅我们的 Terminal-Bench 配置研究。
单一固定费用可能被记住。请增加多样化案例,例如金额恰好达到审批门槛和缺少收据的情况,并为每个案例设定预期结果;另行保留一些案例用于评估。运行通过检查的轨迹,验证奖励是否正常生效,然后衡量智能体初始轨迹达到该奖励的频率,再将其用于训练。
sapien1 帮助团队界定任务环境的范围并评估智能体。从一个工作流、一项有代表性的任务,以及你需要观察到的结果开始。