# Como conferir os registros dos episódios de RL antes de comparar retornos

Antes de comparar o retorno médio por episódio, veja quais ações e episódios entraram no cálculo. O coletor pode contar uma reinicialização como transição, guardar a observação inicial do próximo episódio na última transição do anterior ou deixar de fora um episódio que atingiu o limite de tempo. Três testes curtos no Gymnasium 1.2.1 mostram o que conferir.

**Conte as ações executadas e confira a observação final.** Em um teste vetorial síncrono com dois ambientes e cinco chamadas a `step()`, os dois modos de reinicialização retornaram 10 resultados para as posições dos ambientes. Em `NextStep`, dois resultados vieram de reinicializações e oito ações foram executadas. Em `SameStep`, todas as 10 ações foram executadas. Três resultados trouxeram a observação da reinicialização quando a transição precisava da observação final. Nessas posições, leia `infos["final_obs"]` usando a máscara `_final_obs`. Confira separadamente as ações executadas e os resultados que vieram apenas de reinicializações em cada posição. Verifique qual observação seguinte foi registrada nas transições de fim de episódio. [Implementação vetorial no Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Ações executadas**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Guarde os dois indicadores de fim.** Em um teste com um único ambiente, dois de três episódios terminaram originalmente com `truncated=True`. Um deles também tinha `terminated=True`. Após converter para a API antiga `done` e voltar, só o episódio interrompido apenas pelo limite ainda tinha `truncated=True`. Guarde cada indicador antes da conversão e verifique se os dois permanecem após a exportação e a importação, inclusive quando ambos são verdadeiros ao mesmo tempo. [Implementação de compatibilidade no Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Compare os episódios registrados com os resultados da camada externa.** Em outro teste com um único ambiente, as duas ordens dos wrappers devolveram as mesmas observações, recompensas e indicações de fim. Os dois episódios tiveram retornos de 1 e 2. Com `RecordEpisodeStatistics` por fora de `TimeLimit`, os dois apareceram nas estatísticas e a média registrada foi 1.5. Com o wrapper de estatísticas por dentro, só apareceu o episódio que terminou naturalmente e a média registrada foi 1.0. O limite de tempo externo marcou a interrupção depois que o wrapper interno de estatísticas processou a etapa. Compare os resumos com os IDs dos episódios e os indicadores de fim no registro externo. Depois recalcule a média com os retornos dos episódios incluídos na métrica. [Implementação dos wrappers no Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Para cada comparação, salve a versão da biblioteca, a ordem dos wrappers, o modo de reinicialização quando se aplicar e o número de episódios usado na média. Antes de usar o resultado agregado, confira as contagens e os retornos de cada episódio em um registro curto com um fim natural e uma interrupção forçada.

[Baixar os scripts e os registros salvos (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
