Forskning
Sådan tjekker du logfiler for RL-episoder, før du sammenligner afkast
Tjek, hvilke handlinger og episoder der indgår, før du sammenligner gennemsnitligt afkast pr. episode. Dataindsamlingen kan tælle en nulstilling som en overgang, gemme næste episodes startobservation ved den forrige episodes sidste overgang eller overse en episode, der sluttede ved tidsgrænsen. Tre korte tests med Gymnasium 1.2.1 viser, hvad du kan tjekke.
Tæl udførte handlinger, og tjek den sidste observation. I en synkron vektortest med to miljøer og fem kald til step() gav begge nulstillingstilstande 10 resultater for miljøpladserne. Med NextStep kom to resultater fra nulstillinger, og otte handlinger blev udført. Med SameStep blev alle 10 handlinger udført. Tre resultater indeholdt observationen efter nulstillingen, hvor overgangen havde brug for den sidste observation. Læs infos["final_obs"] med masken _final_obs for de pladser. Hold styr på udførte handlinger og resultater fra rene nulstillinger for hver plads. Kontrollér den gemte næste observation ved overgange, hvor en episode slutter. Vektorimplementeringen i Gymnasium 1.2.1
Behold begge slutmarkeringer. I en test med ét miljø sluttede to af tre episoder oprindeligt med truncated=True. En af dem havde også terminated=True. Efter konvertering til den gamle done-API og tilbage havde kun episoden, der alene sluttede ved grænsen, stadig truncated=True. Gem begge markeringer før konverteringen. Tjek, at de bevares ved eksport og import, også når begge er sande samtidig. Kompatibilitetsimplementeringen i Gymnasium 1.2.1
Afstem registrerede episoder med trinresultaterne fra det yderste lag. I en anden test med ét miljø gav begge rækkefølger af wrappers de samme observationer, belønninger og slutmarkeringer. Episodernes afkast var 1 og 2. Med RecordEpisodeStatistics uden om TimeLimit stod begge episoder i statistikken. Det registrerede gennemsnit var 1.5. Med statistiklaget inderst stod kun episoden med en naturlig afslutning i statistikken, og gennemsnittet var 1.0. Den yderste tidsgrænse satte afbrydelsesmarkeringen, efter at det inderste statistiklag havde behandlet trinnet. Afstem oversigterne med episode-id’erne og slutmarkeringerne i den ydre log. Beregn så gennemsnittet igen ud fra afkastene for de episoder, dit mål omfatter. Implementeringen af wrappers i Gymnasium 1.2.1
Gem biblioteksversionen, rækkefølgen af wrappers, nulstillingstilstanden hvis relevant og antallet af episoder i gennemsnittet. Tjek antal og afkast pr. episode i en kort log med en naturlig afslutning og en tvungen afbrydelse, før du bruger det samlede resultat.