Onderzoek
Zo controleer je RL-episodelogboeken voordat je opbrengsten vergelijkt
Controleer vóór je de gemiddelde opbrengst per episode vergelijkt welke acties en episodes in de berekening meetellen. Een gegevensverzamelaar kan een reset als overgang tellen, de eerste observatie van een nieuwe episode bij de laatste overgang van de vorige opslaan, of een episode missen die bij de tijdslimiet eindigde. Drie korte tests met Gymnasium 1.2.1 laten zien wat je kunt controleren.
Tel de uitgevoerde acties en controleer de laatste observatie. In een synchrone vectortest met twee omgevingen en vijf aanroepen van step() gaven beide resetmodi 10 resultaten voor de omgevingsposities terug. Met NextStep kwamen twee resultaten uit resets en werden acht acties uitgevoerd. Met SameStep werden alle 10 acties uitgevoerd. Drie resultaten bevatten de observatie na een reset waar de overgang de laatste observatie nodig had. Lees voor die posities infos["final_obs"] met het masker _final_obs. Vergelijk per omgevingspositie de uitgevoerde acties en de resultaten die alleen van een reset komen. Controleer bij overgangen aan het einde van een episode welke volgende observatie is opgeslagen. Vectorimplementatie in Gymnasium 1.2.1
Bewaar beide eindvlaggen. In een test met één omgeving eindigden oorspronkelijk twee van de drie episodes met truncated=True. Een daarvan had ook terminated=True. Na omzetting naar de oude done-API en terug had alleen de episode die uitsluitend door de limiet stopte nog truncated=True. Bewaar elke vlag vóór de omzetting en controleer of beide na export en import behouden blijven, ook wanneer ze allebei tegelijk waar zijn. Compatibiliteitsimplementatie in Gymnasium 1.2.1
Vergelijk vastgelegde episodes met de stapresultaten uit de buitenste laag. In een andere test met één omgeving leverden beide wrappervolgordes dezelfde observaties, beloningen en eindvlaggen op. De twee episodes hadden opbrengsten van 1 en 2. Met RecordEpisodeStatistics buiten TimeLimit stonden beide episodes in de statistieken en was het vastgelegde gemiddelde 1.5. Met de statistiekwrapper aan de binnenkant stond alleen de natuurlijk beëindigde episode in de statistieken en was het gemiddelde 1.0. De buitenste tijdslimiet zette de afbreekvlag nadat de binnenste statistiekwrapper de stap al had verwerkt. Koppel elke samenvatting aan de episode-ID en eindvlaggen in het buitenste log. Bereken daarna het gemiddelde opnieuw met de opbrengsten van de episodes die je maatstaf meetelt. Wrapperimplementatie in Gymnasium 1.2.1
Bewaar bij elke vergelijking de bibliotheekversie, de volgorde van de wrappers, de resetmodus als die van toepassing is en het aantal episodes in het gemiddelde. Controleer de aantallen en opbrengsten per episode met een kort logboek met een natuurlijk einde en een gedwongen stop voordat je het gemiddelde gebruikt.