# Come controllare i registri degli episodi di RL prima di confrontare i ritorni

Prima di confrontare il ritorno medio per episodio, controlla quali azioni ed episodi entrano nel calcolo. Il sistema di raccolta può contare un ripristino come transizione, salvare l’osservazione iniziale di un episodio nell’ultima transizione di quello precedente o saltare un episodio terminato al limite di tempo. Tre brevi prove con Gymnasium 1.2.1 mostrano cosa controllare.

**Conta le azioni eseguite e controlla l’osservazione finale.** In una prova vettoriale sincrona con due ambienti e cinque chiamate a `step()`, entrambe le modalità di ripristino hanno restituito 10 risultati per le posizioni degli ambienti. Con `NextStep`, due risultati venivano da ripristini e sono state eseguite otto azioni. Con `SameStep` sono state eseguite tutte le 10 azioni. Tre risultati contenevano l’osservazione del ripristino quando alla transizione serviva l’osservazione finale. Per quelle posizioni leggi `infos["final_obs"]` usando la maschera `_final_obs`. Per ogni posizione conta separatamente le azioni eseguite e i risultati di solo ripristino. Controlla l’osservazione successiva salvata nelle transizioni di fine episodio. [Implementazione vettoriale di Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Azioni eseguite**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Conserva entrambi gli indicatori di fine.** In una prova con un solo ambiente, due episodi su tre erano terminati con `truncated=True`. Uno dei due aveva anche `terminated=True`. Dopo la conversione alla vecchia API `done` e ritorno, solo l’episodio interrotto per il limite aveva ancora `truncated=True`. Salva ogni indicatore prima della conversione e verifica che entrambi siano conservati durante l’esportazione e l’importazione, anche quando sono veri insieme. [Implementazione della compatibilità in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Confronta gli episodi registrati con i risultati dello strato esterno.** In un’altra prova con un solo ambiente, i due ordini dei wrapper hanno restituito le stesse osservazioni, ricompense e indicatori di fine. I due episodi hanno avuto ritorni di 1 e 2. Con `RecordEpisodeStatistics` all’esterno di `TimeLimit`, entrambi gli episodi erano nelle statistiche, con una media registrata di 1.5. Con il wrapper delle statistiche all’interno, compariva solo l’episodio concluso naturalmente e la media era 1.0. Il limite di tempo esterno ha impostato l’indicatore di interruzione dopo che il wrapper interno aveva elaborato il passo. Associa i riepiloghi agli ID degli episodi e agli indicatori di fine nella traccia esterna, poi ricalcola la media dei ritorni degli episodi inclusi nella metrica. [Implementazione dei wrapper in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Per ogni confronto, salva la versione della libreria, l’ordine dei wrapper, la modalità di ripristino se pertinente e il numero di episodi usato per la media. Prima di usare il risultato aggregato, verifica i conteggi e i ritorni per episodio su una breve traccia con una conclusione naturale e un’interruzione forzata.

[Scarica gli script e i registri salvati (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
