Pesquisa
Como conferir os registros dos episódios de RL antes de comparar retornos
Antes de comparar o retorno médio por episódio, veja quais ações e episódios entraram no cálculo. O coletor pode contar uma reinicialização como transição, guardar a observação inicial do próximo episódio na última transição do anterior ou deixar de fora um episódio que atingiu o limite de tempo. Três testes curtos no Gymnasium 1.2.1 mostram o que conferir.
Conte as ações executadas e confira a observação final. Em um teste vetorial síncrono com dois ambientes e cinco chamadas a step(), os dois modos de reinicialização retornaram 10 resultados para as posições dos ambientes. Em NextStep, dois resultados vieram de reinicializações e oito ações foram executadas. Em SameStep, todas as 10 ações foram executadas. Três resultados trouxeram a observação da reinicialização quando a transição precisava da observação final. Nessas posições, leia infos["final_obs"] usando a máscara _final_obs. Confira separadamente as ações executadas e os resultados que vieram apenas de reinicializações em cada posição. Verifique qual observação seguinte foi registrada nas transições de fim de episódio. Implementação vetorial no Gymnasium 1.2.1
Guarde os dois indicadores de fim. Em um teste com um único ambiente, dois de três episódios terminaram originalmente com truncated=True. Um deles também tinha terminated=True. Após converter para a API antiga done e voltar, só o episódio interrompido apenas pelo limite ainda tinha truncated=True. Guarde cada indicador antes da conversão e verifique se os dois permanecem após a exportação e a importação, inclusive quando ambos são verdadeiros ao mesmo tempo. Implementação de compatibilidade no Gymnasium 1.2.1
Compare os episódios registrados com os resultados da camada externa. Em outro teste com um único ambiente, as duas ordens dos wrappers devolveram as mesmas observações, recompensas e indicações de fim. Os dois episódios tiveram retornos de 1 e 2. Com RecordEpisodeStatistics por fora de TimeLimit, os dois apareceram nas estatísticas e a média registrada foi 1.5. Com o wrapper de estatísticas por dentro, só apareceu o episódio que terminou naturalmente e a média registrada foi 1.0. O limite de tempo externo marcou a interrupção depois que o wrapper interno de estatísticas processou a etapa. Compare os resumos com os IDs dos episódios e os indicadores de fim no registro externo. Depois recalcule a média com os retornos dos episódios incluídos na métrica. Implementação dos wrappers no Gymnasium 1.2.1
Para cada comparação, salve a versão da biblioteca, a ordem dos wrappers, o modo de reinicialização quando se aplicar e o número de episódios usado na média. Antes de usar o resultado agregado, confira as contagens e os retornos de cada episódio em um registro curto com um fim natural e uma interrupção forçada.