Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak zkontrolovat záznamy epizod RL před porovnáním návratnosti

Jazyk: Čeština

Před porovnáním průměrné návratnosti epizody ověřte, které akce a epizody se započítaly. Sběr dat může započítat reset jako přechod, uložit počáteční pozorování další epizody k poslednímu přechodu minulé epizody nebo vynechat epizodu ukončenou časovým limitem. Tři krátké testy s Gymnasium 1.2.1 ukazují, co ověřit.

Spočítejte provedené akce a ověřte koncové pozorování. V synchronním vektorovém testu se dvěma prostředími a pěti voláními step() vrátily oba režimy resetu 10 výsledků pro jednotlivé pozice prostředí. Při NextStep dva výsledky pocházely z resetu a provedlo se osm akcí. Při SameStep se provedlo všech 10 akcí. Tři výsledky obsahovaly pozorování po resetu tam, kde přechod potřeboval koncové pozorování. Pro tyto pozice načtěte infos["final_obs"] pomocí masky _final_obs. Pro každou pozici ověřte provedené akce a výsledky pocházející pouze z resetu. Zkontrolujte také uložené následující pozorování u přechodů, které epizodu ukončují. Implementace vektorových prostředí v Gymnasium 1.2.1

Zachovejte oba příznaky konce. V testu s jedním prostředím původně skončily dvě ze tří epizod s truncated=True. Jedna z nich měla zároveň terminated=True. Po převodu na staré rozhraní done a zpět měla truncated=True už jen epizoda ukončená pouze limitem. Před převodem oba příznaky uložte a ověřte, že zůstanou zachované při exportu i importu, i když oba současně platí. Implementace kompatibility v Gymnasium 1.2.1

Porovnejte zaznamenané epizody s výsledky kroků z vnější vrstvy. V jiném testu s jedním prostředím vrátila obě pořadí obalových vrstev stejná pozorování, odměny a příznaky konce. Návratnosti dvou epizod byly 1 a 2. Když bylo RecordEpisodeStatistics vně TimeLimit, ve statistikách byly obě epizody a zaznamenaný průměr byl 1.5. S vrstvou statistik uvnitř se započítala jen přirozeně ukončená epizoda a zaznamenaný průměr byl 1.0. Vnější časový limit nastavil příznak přerušení až po zpracování kroku vnitřní vrstvou statistik. Srovnejte souhrny s ID epizod a příznaky konce ve vnějším záznamu. Potom přepočítejte průměr z návratností epizod, které metrika zahrnuje. Implementace obalových vrstev v Gymnasium 1.2.1

Pro každé porovnání uložte verzi knihovny, pořadí obalových vrstev, případný režim resetu a počet epizod započtených do průměru. Než použijete souhrnný výsledek, ověřte počty a návratnosti po epizodách na krátkém záznamu s přirozeným ukončením a vynuceným přerušením.