# Zo controleer je RL-episodelogboeken voordat je opbrengsten vergelijkt

Controleer vóór je de gemiddelde opbrengst per episode vergelijkt welke acties en episodes in de berekening meetellen. Een gegevensverzamelaar kan een reset als overgang tellen, de eerste observatie van een nieuwe episode bij de laatste overgang van de vorige opslaan, of een episode missen die bij de tijdslimiet eindigde. Drie korte tests met Gymnasium 1.2.1 laten zien wat je kunt controleren.

**Tel de uitgevoerde acties en controleer de laatste observatie.** In een synchrone vectortest met twee omgevingen en vijf aanroepen van `step()` gaven beide resetmodi 10 resultaten voor de omgevingsposities terug. Met `NextStep` kwamen twee resultaten uit resets en werden acht acties uitgevoerd. Met `SameStep` werden alle 10 acties uitgevoerd. Drie resultaten bevatten de observatie na een reset waar de overgang de laatste observatie nodig had. Lees voor die posities `infos["final_obs"]` met het masker `_final_obs`. Vergelijk per omgevingspositie de uitgevoerde acties en de resultaten die alleen van een reset komen. Controleer bij overgangen aan het einde van een episode welke volgende observatie is opgeslagen. [Vectorimplementatie in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Uitgevoerde acties**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Bewaar beide eindvlaggen.** In een test met één omgeving eindigden oorspronkelijk twee van de drie episodes met `truncated=True`. Een daarvan had ook `terminated=True`. Na omzetting naar de oude `done`-API en terug had alleen de episode die uitsluitend door de limiet stopte nog `truncated=True`. Bewaar elke vlag vóór de omzetting en controleer of beide na export en import behouden blijven, ook wanneer ze allebei tegelijk waar zijn. [Compatibiliteitsimplementatie in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Vergelijk vastgelegde episodes met de stapresultaten uit de buitenste laag.** In een andere test met één omgeving leverden beide wrappervolgordes dezelfde observaties, beloningen en eindvlaggen op. De twee episodes hadden opbrengsten van 1 en 2. Met `RecordEpisodeStatistics` buiten `TimeLimit` stonden beide episodes in de statistieken en was het vastgelegde gemiddelde 1.5. Met de statistiekwrapper aan de binnenkant stond alleen de natuurlijk beëindigde episode in de statistieken en was het gemiddelde 1.0. De buitenste tijdslimiet zette de afbreekvlag nadat de binnenste statistiekwrapper de stap al had verwerkt. Koppel elke samenvatting aan de episode-ID en eindvlaggen in het buitenste log. Bereken daarna het gemiddelde opnieuw met de opbrengsten van de episodes die je maatstaf meetelt. [Wrapperimplementatie in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Bewaar bij elke vergelijking de bibliotheekversie, de volgorde van de wrappers, de resetmodus als die van toepassing is en het aantal episodes in het gemiddelde. Controleer de aantallen en opbrengsten per episode met een kort logboek met een natuurlijk einde en een gedwongen stop voordat je het gemiddelde gebruikt.

[Download de scripts en opgeslagen logboeken (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
