研究
比較回報前,如何檢查強化學習的回合紀錄
比較平均回合回報前,先確認計算時納入了哪些動作和回合。資料收集器可能會把重設算成一次轉移、把下一回合的第一筆觀測值存到上一回合的最後一次轉移,或漏掉因達到時間上限而結束的回合。Gymnasium 1.2.1 的三個簡短測試說明要檢查哪些內容。
數一下實際執行的動作,並核對最終觀測值。 在一個有兩個環境、呼叫 step() 五次的同步向量測試中,兩種重設模式都傳回 10 筆環境槽位的結果。在 NextStep 模式下,兩筆結果來自重設,實際執行了八個動作。在 SameStep 模式下,10 個動作全都執行了。有三筆結果包含重設後的觀測值,但轉移需要的是最終觀測值。對這些槽位,請使用遮罩 _final_obs 讀取 infos["final_obs"]。逐一核對各槽位實際執行的動作和只做重設的結果,再確認回合結束的轉移儲存了哪筆後續觀測值。 Gymnasium 1.2.1 的向量環境實作
保留兩個結束旗標。 在單一環境的測試中,三個回合裡有兩個原先以 truncated=True 結束,其中一個也有 terminated=True。轉成舊版 done API 再轉回原格式後,只有單純因達到限制而中斷的回合還有 truncated=True。請先儲存兩個旗標再轉換,並確認匯出再匯入後兩個旗標都還在,包括兩者同時為真的情況。 Gymnasium 1.2.1 的相容性實作
核對回合紀錄和最外層傳回的步驟結果。 在另一個單一環境測試中,兩種包裝器順序傳回的觀測值、獎勵和結束旗標都相同。兩個回合的回報分別是 1 和 2。把 RecordEpisodeStatistics 放在 TimeLimit 外層時,兩個回合都納入統計,記錄的平均值是 1.5。把統計包裝器放在內層時,只記錄自然結束的回合,平均值是 1.0。內層統計包裝器處理完當下的步驟後,外層的時間限制才設定截斷旗標。把摘要和外層紀錄的回合 ID 及結束旗標對照,再用指標所納入的回合回報重新計算平均值。 Gymnasium 1.2.1 的包裝器實作
每次比較時,儲存程式庫版本、包裝器順序、適用時的重設模式,以及用來算平均值的回合數。使用彙整結果前,拿一段既有自然結束又有強制截斷的短紀錄,核對回合數和每個回合的回報。