# Slik sjekker du RL-episodelogger før du sammenligner avkastning

Før du sammenligner gjennomsnittlig avkastning per episode, sjekk hvilke handlinger og episoder som ble med i beregningen. Datainnsamleren kan telle en tilbakestilling som en overgang, lagre den nye episodens første observasjon i forrige episodes siste overgang, eller hoppe over en episode som nådde tidsgrensen. Tre korte tester med Gymnasium 1.2.1 viser hva du bør sjekke.

**Tell utførte handlinger og sjekk den siste observasjonen.** I en synkron vektortest med to miljøer og fem kall til `step()` ga begge modusene for tilbakestilling 10 resultater for miljøplassene. Med `NextStep` kom to resultater fra tilbakestillinger, og åtte handlinger ble utført. Med `SameStep` ble alle 10 handlingene utført. Tre resultater inneholdt observasjonen etter tilbakestillingen der overgangen trengte den siste observasjonen. Les `infos["final_obs"]` med masken `_final_obs` for disse plassene. Avstem utførte handlinger og resultater fra rene tilbakestillinger for hver miljøplass. Sjekk den lagrede neste observasjonen i overgangene som avslutter episoder. [Vektorimplementasjonen i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Utførte handlinger**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Behold begge sluttflaggene.** I en test med ett miljø sluttet to av tre episoder opprinnelig med `truncated=True`. Én av dem hadde også `terminated=True`. Etter konvertering til det gamle `done`-API-et og tilbake hadde bare episoden som stoppet utelukkende på grunn av grensen, fortsatt `truncated=True`. Lagre begge flaggene før konvertering, og sjekk at begge bevares ved eksport og import, også når de er sanne samtidig. [Kompatibilitetsimplementasjonen i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Avstem registrerte episoder med trinnresultatene fra det ytterste laget.** I en annen test med ett miljø ga begge rekkefølgene på innpakningene de samme observasjonene, belønningene og sluttflaggene. Episodene hadde avkastning på 1 og 2. Med `RecordEpisodeStatistics` utenpå `TimeLimit` kom begge med i statistikken, og det registrerte gjennomsnittet var 1.5. Med statistikklaget innerst kom bare episoden som sluttet naturlig med, og gjennomsnittet var 1.0. Den ytre tidsgrensen satte avbruddsflagget etter at det indre statistikklaget hadde behandlet trinnet. Koble sammendragene til episode-ID-ene og sluttflaggene i den ytre loggen. Beregn så gjennomsnittet på nytt fra avkastningen til episodene som målet omfatter. [Implementasjonen av innpakninger i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Lagre bibliotekversjonen, rekkefølgen på innpakningene, modusen for tilbakestilling hvis relevant og antall episoder i gjennomsnittet. Før du bruker det samlede resultatet, kontroller antall og avkastning per episode i en kort logg med en naturlig slutt og et tvungent avbrudd.

[Last ned skriptene og de lagrede loggene (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
