Forskning
Så kontrollerar du RL-episodloggar innan du jämför avkastning
Innan du jämför genomsnittlig avkastning per episod, kontrollera vilka handlingar och episoder som räknades. Insamlingen kan räkna en återställning som en övergång, spara nästa episodens första observation vid förra episodens sista övergång eller missa en episod som nådde tidsgränsen. Tre korta tester med Gymnasium 1.2.1 visar vad du kan kontrollera.
Räkna utförda handlingar och kontrollera den sista observationen. I ett synkront vektortest med två miljöer och fem anrop till step() gav båda återställningslägena 10 resultat för miljöplatserna. Med NextStep kom två resultat från återställningar och åtta handlingar utfördes. Med SameStep utfördes alla 10 handlingar. Tre resultat innehöll observationen efter återställningen där övergången behövde den sista observationen. Läs infos["final_obs"] med masken _final_obs för de platserna. Stäm av utförda handlingar och resultat som bara kommer från återställningar för varje miljöplats. Kontrollera nästa observation som sparats vid övergångar som avslutar en episod. Vektorimplementationen i Gymnasium 1.2.1
Behåll båda flaggorna för hur episoden slutade. I ett test med en miljö slutade två av tre episoder ursprungligen med truncated=True. En av de två hade också terminated=True. Efter konvertering till det äldre done-API:t och tillbaka hade bara episoden som enbart stoppades av gränsen kvar truncated=True. Spara båda flaggorna före konverteringen. Kontrollera att de finns kvar efter export och import även när båda är sanna samtidigt. Kompatibilitetsimplementationen i Gymnasium 1.2.1
Stäm av registrerade episoder mot stegresultaten från det yttersta lagret. I ett annat test med en miljö gav båda ordningarna på omslagen samma observationer, belöningar och slutflaggor. Episoderna hade avkastningarna 1 och 2. Med RecordEpisodeStatistics utanför TimeLimit ingick båda i statistiken och det registrerade genomsnittet var 1.5. Med statistiklagret innerst ingick bara episoden som avslutades naturligt, och genomsnittet var 1.0. Den yttre tidsgränsen satte stoppflaggan efter att det inre statistiklagret behandlat steget. Matcha sammanfattningarna med episod-ID:n och slutflaggorna i den yttre loggen. Räkna sedan om genomsnittet från avkastningen för de episoder som ingår i måttet. Implementationen av omslag i Gymnasium 1.2.1
Spara biblioteksversionen, ordningen på omslagen, återställningsläget om det är relevant och antalet episoder i genomsnittet. Kontrollera antal och avkastning per episod i en kort logg med ett naturligt slut och ett påtvingat stopp innan du använder genomsnittet.