# 比較回報前，如何檢查強化學習的回合紀錄

比較平均回合回報前，先確認計算時納入了哪些動作和回合。資料收集器可能會把重設算成一次轉移、把下一回合的第一筆觀測值存到上一回合的最後一次轉移，或漏掉因達到時間上限而結束的回合。Gymnasium 1.2.1 的三個簡短測試說明要檢查哪些內容。

**數一下實際執行的動作，並核對最終觀測值。** 在一個有兩個環境、呼叫 `step()` 五次的同步向量測試中，兩種重設模式都傳回 10 筆環境槽位的結果。在 `NextStep` 模式下，兩筆結果來自重設，實際執行了八個動作。在 `SameStep` 模式下，10 個動作全都執行了。有三筆結果包含重設後的觀測值，但轉移需要的是最終觀測值。對這些槽位，請使用遮罩 `_final_obs` 讀取 `infos["final_obs"]`。逐一核對各槽位實際執行的動作和只做重設的結果，再確認回合結束的轉移儲存了哪筆後續觀測值。 [Gymnasium 1.2.1 的向量環境實作](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**實際執行的動作**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**保留兩個結束旗標。** 在單一環境的測試中，三個回合裡有兩個原先以 `truncated=True` 結束，其中一個也有 `terminated=True`。轉成舊版 `done` API 再轉回原格式後，只有單純因達到限制而中斷的回合還有 `truncated=True`。請先儲存兩個旗標再轉換，並確認匯出再匯入後兩個旗標都還在，包括兩者同時為真的情況。 [Gymnasium 1.2.1 的相容性實作](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**核對回合紀錄和最外層傳回的步驟結果。** 在另一個單一環境測試中，兩種包裝器順序傳回的觀測值、獎勵和結束旗標都相同。兩個回合的回報分別是 1 和 2。把 `RecordEpisodeStatistics` 放在 `TimeLimit` 外層時，兩個回合都納入統計，記錄的平均值是 1.5。把統計包裝器放在內層時，只記錄自然結束的回合，平均值是 1.0。內層統計包裝器處理完當下的步驟後，外層的時間限制才設定截斷旗標。把摘要和外層紀錄的回合 ID 及結束旗標對照，再用指標所納入的回合回報重新計算平均值。 [Gymnasium 1.2.1 的包裝器實作](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

每次比較時，儲存程式庫版本、包裝器順序、適用時的重設模式，以及用來算平均值的回合數。使用彙整結果前，拿一段既有自然結束又有強制截斷的短紀錄，核對回合數和每個回合的回報。

[下載重現指令碼和儲存的紀錄（ZIP）](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
