# Så kontrollerar du RL-episodloggar innan du jämför avkastning

Innan du jämför genomsnittlig avkastning per episod, kontrollera vilka handlingar och episoder som räknades. Insamlingen kan räkna en återställning som en övergång, spara nästa episodens första observation vid förra episodens sista övergång eller missa en episod som nådde tidsgränsen. Tre korta tester med Gymnasium 1.2.1 visar vad du kan kontrollera.

**Räkna utförda handlingar och kontrollera den sista observationen.** I ett synkront vektortest med två miljöer och fem anrop till `step()` gav båda återställningslägena 10 resultat för miljöplatserna. Med `NextStep` kom två resultat från återställningar och åtta handlingar utfördes. Med `SameStep` utfördes alla 10 handlingar. Tre resultat innehöll observationen efter återställningen där övergången behövde den sista observationen. Läs `infos["final_obs"]` med masken `_final_obs` för de platserna. Stäm av utförda handlingar och resultat som bara kommer från återställningar för varje miljöplats. Kontrollera nästa observation som sparats vid övergångar som avslutar en episod. [Vektorimplementationen i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Utförda åtgärder**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Behåll båda flaggorna för hur episoden slutade.** I ett test med en miljö slutade två av tre episoder ursprungligen med `truncated=True`. En av de två hade också `terminated=True`. Efter konvertering till det äldre `done`-API:t och tillbaka hade bara episoden som enbart stoppades av gränsen kvar `truncated=True`. Spara båda flaggorna före konverteringen. Kontrollera att de finns kvar efter export och import även när båda är sanna samtidigt. [Kompatibilitetsimplementationen i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Stäm av registrerade episoder mot stegresultaten från det yttersta lagret.** I ett annat test med en miljö gav båda ordningarna på omslagen samma observationer, belöningar och slutflaggor. Episoderna hade avkastningarna 1 och 2. Med `RecordEpisodeStatistics` utanför `TimeLimit` ingick båda i statistiken och det registrerade genomsnittet var 1.5. Med statistiklagret innerst ingick bara episoden som avslutades naturligt, och genomsnittet var 1.0. Den yttre tidsgränsen satte stoppflaggan efter att det inre statistiklagret behandlat steget. Matcha sammanfattningarna med episod-ID:n och slutflaggorna i den yttre loggen. Räkna sedan om genomsnittet från avkastningen för de episoder som ingår i måttet. [Implementationen av omslag i Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Spara biblioteksversionen, ordningen på omslagen, återställningsläget om det är relevant och antalet episoder i genomsnittet. Kontrollera antal och avkastning per episod i en kort logg med ett naturligt slut och ett påtvingat stopp innan du använder genomsnittet.

[Ladda ner skripten och de sparade loggarna (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
