研究
リターンを比較する前に強化学習のエピソードログを確認する方法
平均エピソードリターンを比較する前に、計算に使われた行動とエピソードを確認します。ログの収集時に、リセットを遷移として数えたり、次のエピソードの最初の観測を前のエピソードの最後の遷移に記録したり、時間制限で終わったエピソードを取りこぼしたりすることがあります。Gymnasium 1.2.1の三つの短いテストで確認点を示します。
実行された行動を数え、最後の観測を確認する。 二つの環境で step() を五回呼び出す同期ベクトル環境のテストでは、どちらのリセット方式も環境スロットの結果を10件返しました。NextStep では二件がリセットの結果で、八件の行動が実行されました。SameStep では10件の行動すべてが実行されました。そのうち三件は、遷移に必要な最後の観測の代わりに、リセット後の観測を返しました。該当するスロットでは、マスク _final_obs を使って infos["final_obs"] を読み取ります。スロットごとに、実行した行動とリセットだけの結果を照合します。エピソードを終える遷移では、次の観測として何が保存されたかも確認します。 Gymnasium 1.2.1のベクトル環境の実装
終了を示す二つのフラグを残す。 一つの環境を使うテストでは、三つのエピソードのうち二つがもともと truncated=True で終了し、そのうち一つでは terminated=True も設定されていました。旧式の done APIに変換してから戻すと、制限による打ち切りだけで終わったエピソードにしか truncated=True が残りませんでした。変換する前に両方のフラグを保存し、同時に真になる場合も含めて、エクスポートとインポート後に両方が残るか確認します。 Gymnasium 1.2.1の互換性の実装
記録したエピソードを外側の各ステップの結果と照合する。 別の一環境のテストでは、ラッパーの順序を変えても観測、報酬、終了フラグは同じでした。二つのエピソードのリターンは1と2でした。RecordEpisodeStatistics を TimeLimit の外側に置くと、両方のエピソードが統計に入り、記録された平均は1.5でした。統計ラッパーを内側に置くと、自然に終了したエピソードだけが統計に入り、記録された平均は1.0でした。内側の統計ラッパーがステップを処理した後で、外側の時間制限が打ち切りのフラグを立てました。集計結果を外側のログにあるエピソードIDと終了フラグに照らし合わせます。そのうえで、指標に含まれるエピソードのリターンから平均を計算し直します。 Gymnasium 1.2.1のラッパーの実装
比較ごとに、ライブラリのバージョン、ラッパーの順序、該当する場合はリセット方式、平均の計算に使うエピソード数を保存します。集計値を使う前に、自然な終了と強制的な打ち切りを含む短いログで、件数とエピソードごとのリターンを確認します。