Saltar al contenido principal

Menú

Investigación

Cómo revisar los registros de episodios de RL antes de comparar retornos

Idioma: Español

Antes de comparar el retorno medio por episodio, comprueba qué acciones y episodios entraron en el cálculo. El sistema que recoge los datos puede contar un reinicio como una transición, guardar la observación inicial de un episodio en la última transición del anterior u omitir un episodio que llegó al límite de tiempo. Tres pruebas breves con Gymnasium 1.2.1 muestran qué revisar.

Cuenta las acciones ejecutadas y comprueba la observación final. En una prueba vectorial síncrona con dos entornos y cinco llamadas a step(), ambos modos de reinicio devolvieron 10 resultados de las posiciones de los entornos. Con NextStep, dos resultados procedían de reinicios y se ejecutaron ocho acciones. Con SameStep, se ejecutaron las 10 acciones. Tres resultados incluían la observación del reinicio donde la transición necesitaba la observación final. En esas posiciones, lee infos["final_obs"] con su máscara _final_obs. Comprueba por separado las acciones ejecutadas y los resultados que solo corresponden a reinicios en cada posición. Revisa la observación siguiente guardada en las transiciones que cierran un episodio. Implementación vectorial de Gymnasium 1.2.1

Conserva los dos indicadores de fin. En una prueba con un solo entorno, dos de tres episodios terminaron originalmente con truncated=True. Uno de los dos también tenía terminated=True. Tras convertir los resultados a la antigua API done y volver al formato original, solo conservó truncated=True el episodio que acabó únicamente por el límite. Conserva cada indicador antes de convertir los datos y comprueba que ambos se mantienen al exportar e importar, incluso cuando son verdaderos a la vez. Implementación de compatibilidad de Gymnasium 1.2.1

Comprueba que los episodios registrados coinciden con el resultado final de cada paso. En otra prueba con un solo entorno, los dos órdenes de los envoltorios devolvieron las mismas observaciones, recompensas e indicadores de fin. Los dos episodios tuvieron retornos de 1 y 2. Con RecordEpisodeStatistics por fuera de TimeLimit, los dos episodios aparecieron en las estadísticas y la media registrada fue 1.5. Con el envoltorio de estadísticas por dentro, solo apareció el episodio que terminó de forma natural y la media registrada fue 1.0. El límite de tiempo exterior marcó el corte después de que el envoltorio interior de estadísticas procesara el paso. Coteja los resúmenes con los identificadores de episodio y los indicadores de fin del registro exterior. Después vuelve a calcular la media con los retornos de los episodios que incluye tu métrica. Implementación de los envoltorios de Gymnasium 1.2.1

Para cada comparación, guarda la versión de la biblioteca, el orden de los envoltorios, el modo de reinicio si corresponde y el número de episodios usado para calcular la media. Antes de usar el resultado agregado, verifica los recuentos y el retorno de cada episodio en un registro breve que incluya un fin natural y un corte forzado.