# リターンを比較する前に強化学習のエピソードログを確認する方法

平均エピソードリターンを比較する前に、計算に使われた行動とエピソードを確認します。ログの収集時に、リセットを遷移として数えたり、次のエピソードの最初の観測を前のエピソードの最後の遷移に記録したり、時間制限で終わったエピソードを取りこぼしたりすることがあります。Gymnasium 1.2.1の三つの短いテストで確認点を示します。

**実行された行動を数え、最後の観測を確認する。** 二つの環境で `step()` を五回呼び出す同期ベクトル環境のテストでは、どちらのリセット方式も環境スロットの結果を10件返しました。`NextStep` では二件がリセットの結果で、八件の行動が実行されました。`SameStep` では10件の行動すべてが実行されました。そのうち三件は、遷移に必要な最後の観測の代わりに、リセット後の観測を返しました。該当するスロットでは、マスク `_final_obs` を使って `infos["final_obs"]` を読み取ります。スロットごとに、実行した行動とリセットだけの結果を照合します。エピソードを終える遷移では、次の観測として何が保存されたかも確認します。 [Gymnasium 1.2.1のベクトル環境の実装](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**実行された行動**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**終了を示す二つのフラグを残す。** 一つの環境を使うテストでは、三つのエピソードのうち二つがもともと `truncated=True` で終了し、そのうち一つでは `terminated=True` も設定されていました。旧式の `done` APIに変換してから戻すと、制限による打ち切りだけで終わったエピソードにしか `truncated=True` が残りませんでした。変換する前に両方のフラグを保存し、同時に真になる場合も含めて、エクスポートとインポート後に両方が残るか確認します。 [Gymnasium 1.2.1の互換性の実装](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**記録したエピソードを外側の各ステップの結果と照合する。** 別の一環境のテストでは、ラッパーの順序を変えても観測、報酬、終了フラグは同じでした。二つのエピソードのリターンは1と2でした。`RecordEpisodeStatistics` を `TimeLimit` の外側に置くと、両方のエピソードが統計に入り、記録された平均は1.5でした。統計ラッパーを内側に置くと、自然に終了したエピソードだけが統計に入り、記録された平均は1.0でした。内側の統計ラッパーがステップを処理した後で、外側の時間制限が打ち切りのフラグを立てました。集計結果を外側のログにあるエピソードIDと終了フラグに照らし合わせます。そのうえで、指標に含まれるエピソードのリターンから平均を計算し直します。 [Gymnasium 1.2.1のラッパーの実装](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

比較ごとに、ライブラリのバージョン、ラッパーの順序、該当する場合はリセット方式、平均の計算に使うエピソード数を保存します。集計値を使う前に、自然な終了と強制的な打ち切りを含む短いログで、件数とエピソードごとのリターンを確認します。

[スクリプトと保存済みのログをダウンロード（ZIP）](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
