跳至主要内容

菜单

研究

比较回报前如何检查强化学习的回合日志

语言: 简体中文

比较平均回合回报前,先查看计算时纳入了哪些动作和回合。数据收集器可能会把重置算作一次转移,在上一回合的最后一次转移中保存下一回合的初始观测,或漏掉因达到时间上限而结束的回合。Gymnasium 1.2.1 的三个简短测试说明了要检查哪些内容。

数清实际执行的动作,并核对最终观测。 在一个有两个环境、调用 step() 五次的同步向量测试中,两种重置模式都返回了 10 条环境槽位结果。在 NextStep 模式下,两条结果来自重置,实际执行了八个动作。在 SameStep 模式下,10 个动作全都执行了。三条结果返回了重置后的观测,而这些转移需要的是最终观测。对于这些槽位,用掩码 _final_obs 读取 infos["final_obs"]。逐个槽位核对实际执行的动作和只发生了重置的结果,并检查结束回合的转移保存了哪一条后续观测。 Gymnasium 1.2.1 的向量环境实现

保留两个结束标志。 在一个单环境测试中,三个回合里有两个原本以 truncated=True 结束。其中一个还带有 terminated=True。转换到旧的 done API 再转回来后,只有单纯因达到上限而中断的回合还带有 truncated=True。转换前保存两个标志。检查导出再导入后是否都保留了,包括两个标志同时为真时。 Gymnasium 1.2.1 的兼容性实现

把记录的回合与最外层返回的步骤结果对照。 在另一个单环境测试中,两种包装器顺序返回了相同的观测、奖励和结束标志。两个回合的回报分别是 1 和 2。把 RecordEpisodeStatistics 放在 TimeLimit 外层时,两个回合都纳入统计,记录的平均值为 1.5。把统计包装器放在内层时,只记录了自然结束的回合,平均值为 1.0。内层统计包装器处理完这一步后,外层时间限制才设置截断标志。把汇总与外层日志中的回合 ID 和结束标志对照,再用指标所纳入的回合回报重新计算平均值。 Gymnasium 1.2.1 的包装器实现

每次比较时,保存库版本、包装器顺序、适用时的重置模式,以及计算平均值所用的回合数。使用汇总结果前,拿一段既有自然结束又有强制截断的短日志核对回合数和每个回合的回报。