Gå til hovedinnholdet

Meny

Forskning

Slik sjekker du RL-episodelogger før du sammenligner avkastning

Språk: Norsk bokmål

Før du sammenligner gjennomsnittlig avkastning per episode, sjekk hvilke handlinger og episoder som ble med i beregningen. Datainnsamleren kan telle en tilbakestilling som en overgang, lagre den nye episodens første observasjon i forrige episodes siste overgang, eller hoppe over en episode som nådde tidsgrensen. Tre korte tester med Gymnasium 1.2.1 viser hva du bør sjekke.

Tell utførte handlinger og sjekk den siste observasjonen. I en synkron vektortest med to miljøer og fem kall til step() ga begge modusene for tilbakestilling 10 resultater for miljøplassene. Med NextStep kom to resultater fra tilbakestillinger, og åtte handlinger ble utført. Med SameStep ble alle 10 handlingene utført. Tre resultater inneholdt observasjonen etter tilbakestillingen der overgangen trengte den siste observasjonen. Les infos["final_obs"] med masken _final_obs for disse plassene. Avstem utførte handlinger og resultater fra rene tilbakestillinger for hver miljøplass. Sjekk den lagrede neste observasjonen i overgangene som avslutter episoder. Vektorimplementasjonen i Gymnasium 1.2.1

Behold begge sluttflaggene. I en test med ett miljø sluttet to av tre episoder opprinnelig med truncated=True. Én av dem hadde også terminated=True. Etter konvertering til det gamle done-API-et og tilbake hadde bare episoden som stoppet utelukkende på grunn av grensen, fortsatt truncated=True. Lagre begge flaggene før konvertering, og sjekk at begge bevares ved eksport og import, også når de er sanne samtidig. Kompatibilitetsimplementasjonen i Gymnasium 1.2.1

Avstem registrerte episoder med trinnresultatene fra det ytterste laget. I en annen test med ett miljø ga begge rekkefølgene på innpakningene de samme observasjonene, belønningene og sluttflaggene. Episodene hadde avkastning på 1 og 2. Med RecordEpisodeStatistics utenpå TimeLimit kom begge med i statistikken, og det registrerte gjennomsnittet var 1.5. Med statistikklaget innerst kom bare episoden som sluttet naturlig med, og gjennomsnittet var 1.0. Den ytre tidsgrensen satte avbruddsflagget etter at det indre statistikklaget hadde behandlet trinnet. Koble sammendragene til episode-ID-ene og sluttflaggene i den ytre loggen. Beregn så gjennomsnittet på nytt fra avkastningen til episodene som målet omfatter. Implementasjonen av innpakninger i Gymnasium 1.2.1

Lagre bibliotekversjonen, rekkefølgen på innpakningene, modusen for tilbakestilling hvis relevant og antall episoder i gjennomsnittet. Før du bruker det samlede resultatet, kontroller antall og avkastning per episode i en kort logg med en naturlig slutt og et tvungent avbrudd.