# Cómo revisar los registros de episodios de RL antes de comparar retornos

Antes de comparar el retorno medio por episodio, comprueba qué acciones y episodios entraron en el cálculo. El sistema que recoge los datos puede contar un reinicio como una transición, guardar la observación inicial de un episodio en la última transición del anterior u omitir un episodio que llegó al límite de tiempo. Tres pruebas breves con Gymnasium 1.2.1 muestran qué revisar.

**Cuenta las acciones ejecutadas y comprueba la observación final.** En una prueba vectorial síncrona con dos entornos y cinco llamadas a `step()`, ambos modos de reinicio devolvieron 10 resultados de las posiciones de los entornos. Con `NextStep`, dos resultados procedían de reinicios y se ejecutaron ocho acciones. Con `SameStep`, se ejecutaron las 10 acciones. Tres resultados incluían la observación del reinicio donde la transición necesitaba la observación final. En esas posiciones, lee `infos["final_obs"]` con su máscara `_final_obs`. Comprueba por separado las acciones ejecutadas y los resultados que solo corresponden a reinicios en cada posición. Revisa la observación siguiente guardada en las transiciones que cierran un episodio. [Implementación vectorial de Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Acciones ejecutadas**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Conserva los dos indicadores de fin.** En una prueba con un solo entorno, dos de tres episodios terminaron originalmente con `truncated=True`. Uno de los dos también tenía `terminated=True`. Tras convertir los resultados a la antigua API `done` y volver al formato original, solo conservó `truncated=True` el episodio que acabó únicamente por el límite. Conserva cada indicador antes de convertir los datos y comprueba que ambos se mantienen al exportar e importar, incluso cuando son verdaderos a la vez. [Implementación de compatibilidad de Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Comprueba que los episodios registrados coinciden con el resultado final de cada paso.** En otra prueba con un solo entorno, los dos órdenes de los envoltorios devolvieron las mismas observaciones, recompensas e indicadores de fin. Los dos episodios tuvieron retornos de 1 y 2. Con `RecordEpisodeStatistics` por fuera de `TimeLimit`, los dos episodios aparecieron en las estadísticas y la media registrada fue 1.5. Con el envoltorio de estadísticas por dentro, solo apareció el episodio que terminó de forma natural y la media registrada fue 1.0. El límite de tiempo exterior marcó el corte después de que el envoltorio interior de estadísticas procesara el paso. Coteja los resúmenes con los identificadores de episodio y los indicadores de fin del registro exterior. Después vuelve a calcular la media con los retornos de los episodios que incluye tu métrica. [Implementación de los envoltorios de Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Para cada comparación, guarda la versión de la biblioteca, el orden de los envoltorios, el modo de reinicio si corresponde y el número de episodios usado para calcular la media. Antes de usar el resultado agregado, verifica los recuentos y el retorno de cada episodio en un registro breve que incluya un fin natural y un corte forzado.

[Descargar los scripts y los registros guardados (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
