# Jak zkontrolovat záznamy epizod RL před porovnáním návratnosti

Před porovnáním průměrné návratnosti epizody ověřte, které akce a epizody se započítaly. Sběr dat může započítat reset jako přechod, uložit počáteční pozorování další epizody k poslednímu přechodu minulé epizody nebo vynechat epizodu ukončenou časovým limitem. Tři krátké testy s Gymnasium 1.2.1 ukazují, co ověřit.

**Spočítejte provedené akce a ověřte koncové pozorování.** V synchronním vektorovém testu se dvěma prostředími a pěti voláními `step()` vrátily oba režimy resetu 10 výsledků pro jednotlivé pozice prostředí. Při `NextStep` dva výsledky pocházely z resetu a provedlo se osm akcí. Při `SameStep` se provedlo všech 10 akcí. Tři výsledky obsahovaly pozorování po resetu tam, kde přechod potřeboval koncové pozorování. Pro tyto pozice načtěte `infos["final_obs"]` pomocí masky `_final_obs`. Pro každou pozici ověřte provedené akce a výsledky pocházející pouze z resetu. Zkontrolujte také uložené následující pozorování u přechodů, které epizodu ukončují. [Implementace vektorových prostředí v Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Provedené akce**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Zachovejte oba příznaky konce.** V testu s jedním prostředím původně skončily dvě ze tří epizod s `truncated=True`. Jedna z nich měla zároveň `terminated=True`. Po převodu na staré rozhraní `done` a zpět měla `truncated=True` už jen epizoda ukončená pouze limitem. Před převodem oba příznaky uložte a ověřte, že zůstanou zachované při exportu i importu, i když oba současně platí. [Implementace kompatibility v Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Porovnejte zaznamenané epizody s výsledky kroků z vnější vrstvy.** V jiném testu s jedním prostředím vrátila obě pořadí obalových vrstev stejná pozorování, odměny a příznaky konce. Návratnosti dvou epizod byly 1 a 2. Když bylo `RecordEpisodeStatistics` vně `TimeLimit`, ve statistikách byly obě epizody a zaznamenaný průměr byl 1.5. S vrstvou statistik uvnitř se započítala jen přirozeně ukončená epizoda a zaznamenaný průměr byl 1.0. Vnější časový limit nastavil příznak přerušení až po zpracování kroku vnitřní vrstvou statistik. Srovnejte souhrny s ID epizod a příznaky konce ve vnějším záznamu. Potom přepočítejte průměr z návratností epizod, které metrika zahrnuje. [Implementace obalových vrstev v Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Pro každé porovnání uložte verzi knihovny, pořadí obalových vrstev, případný režim resetu a počet epizod započtených do průměru. Než použijete souhrnný výsledek, ověřte počty a návratnosti po epizodách na krátkém záznamu s přirozeným ukončením a vynuceným přerušením.

[Stáhnout skripty a uložené záznamy (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
