Aller au contenu principal

Menu

Recherche

Comment vérifier les journaux d’épisodes en apprentissage par renforcement avant de comparer les retours

Langue: Français

Avant de comparer le retour moyen par épisode, vérifiez les actions et les épisodes pris en compte. Le collecteur peut compter une réinitialisation comme une transition, enregistrer l’observation initiale de l’épisode suivant sur la dernière transition du précédent ou omettre un épisode arrêté à la limite de temps. Trois courts essais avec Gymnasium 1.2.1 montrent les points à vérifier.

Comptez les actions exécutées et vérifiez l’observation finale. Dans un essai vectoriel synchrone avec deux environnements et cinq appels à step(), les deux modes de réinitialisation ont renvoyé 10 résultats pour les emplacements des environnements. Avec NextStep, deux résultats venaient de réinitialisations et huit actions ont été exécutées. Avec SameStep, les 10 actions ont été exécutées. Trois résultats contenaient l’observation de réinitialisation alors que la transition avait besoin de l’observation finale. Pour ces emplacements, lisez infos["final_obs"] à l’aide du masque _final_obs. Vérifiez, pour chaque emplacement, quelles actions ont été exécutées et quels résultats proviennent seulement d’une réinitialisation. Contrôlez l’observation suivante enregistrée pour les transitions de fin d’épisode. Implémentation vectorielle de Gymnasium 1.2.1

Conservez les deux indicateurs de fin. Dans un essai avec un seul environnement, deux épisodes sur trois se sont terminés à l’origine avec truncated=True. L’un de ces deux épisodes avait aussi terminated=True. Après conversion vers l’ancienne API done puis retour au format initial, seul l’épisode arrêté uniquement par la limite avait encore truncated=True. Conservez chaque indicateur avant la conversion. Vérifiez qu’ils sont tous les deux préservés à l’exportation et à l’importation, y compris lorsqu’ils valent vrai en même temps. Implémentation de la compatibilité dans Gymnasium 1.2.1

Vérifiez les épisodes enregistrés à partir des résultats finaux des pas. Dans un autre essai avec un seul environnement, les deux ordres d’encapsulation ont renvoyé les mêmes observations, récompenses et indicateurs de fin. Les deux épisodes ont donné des retours de 1 et de 2. Avec RecordEpisodeStatistics à l’extérieur de TimeLimit, les deux épisodes figuraient dans les statistiques et la moyenne enregistrée était de 1.5. Avec le composant de statistiques à l’intérieur, seul l’épisode terminé naturellement figurait dans les statistiques et la moyenne enregistrée était de 1.0. La limite de temps externe a marqué l’arrêt après le traitement du pas par le composant de statistiques interne. Faites correspondre les résumés avec les identifiants d’épisode et les indicateurs de fin du journal externe, puis recalculez la moyenne des retours des épisodes pris en compte par votre métrique. Implémentation de l’encapsulation dans Gymnasium 1.2.1

Pour chaque comparaison, conservez la version de la bibliothèque, l’ordre d’encapsulation, le mode de réinitialisation s’il y a lieu et le nombre d’épisodes utilisé pour calculer la moyenne. Avant d’utiliser cette moyenne, vérifiez les décomptes et les retours par épisode sur un court journal qui comprend une fin naturelle et un arrêt forcé.