Przejdź do treści głównej

Menu

Badania

Jak sprawdzić logi epizodów RL przed porównaniem zwrotów

Język: Polski

Przed porównaniem średniego zwrotu na epizod sprawdź, jakie działania i epizody trafiły do obliczeń. Mechanizm zbierania danych może policzyć reset jako przejście, zapisać początkową obserwację kolejnego epizodu przy ostatnim przejściu poprzedniego lub pominąć epizod, który dobiegł limitu czasu. Trzy krótkie testy w Gymnasium 1.2.1 pokazują, co sprawdzić.

Policz wykonane działania i sprawdź końcową obserwację. W synchronicznym teście wektorowym z dwoma środowiskami i pięcioma wywołaniami step() oba tryby resetu zwróciły 10 wyników dla pozycji środowisk. W trybie NextStep dwa wyniki pochodziły z resetu i wykonano osiem działań. W trybie SameStep wykonano wszystkie 10 działań. Trzy wyniki zawierały obserwację po resecie tam, gdzie przejście wymagało obserwacji końcowej. Dla tych pozycji odczytaj infos["final_obs"] za pomocą maski _final_obs. Porównaj wykonane działania z wynikami pochodzącymi wyłącznie z resetu dla każdej pozycji. Sprawdź zapisaną następną obserwację przy przejściach kończących epizody. Implementacja środowisk wektorowych w Gymnasium 1.2.1

Zachowaj obie flagi końca. W teście z jednym środowiskiem dwa z trzech epizodów pierwotnie kończyły się z truncated=True. Jeden z nich miał też terminated=True. Po konwersji do starego interfejsu done i z powrotem tylko epizod przerwany wyłącznie limitem nadal miał truncated=True. Zapisz obie flagi przed konwersją i sprawdź, czy obie zostają po eksporcie i imporcie, także gdy obie są naraz prawdziwe. Implementacja zgodności w Gymnasium 1.2.1

Porównaj zapisane epizody z wynikami kroków z warstwy zewnętrznej. W osobnym teście z jednym środowiskiem obie kolejności warstw zwróciły te same obserwacje, nagrody i flagi końca. Zwroty dwóch epizodów wyniosły 1 i 2. Z RecordEpisodeStatistics na zewnątrz TimeLimit oba epizody były w statystykach, a zapisana średnia wyniosła 1.5. Z warstwą statystyk po wewnętrznej stronie ujęto tylko naturalnie zakończony epizod, a zapisana średnia wyniosła 1.0. Zewnętrzny limit czasu ustawił flagę przerwania już po przetworzeniu kroku przez wewnętrzną warstwę statystyk. Dopasuj podsumowania do ID epizodów i flag końca w zewnętrznym logu. Następnie ponownie oblicz średnią ze zwrotów epizodów uwzględnionych w mierze. Implementacja warstw opakowujących w Gymnasium 1.2.1

Dla każdego porównania zapisz wersję biblioteki, kolejność warstw, tryb resetu, jeśli ma zastosowanie, i liczbę epizodów w średniej. Przed użyciem wyniku zbiorczego sprawdź liczbę i zwrot każdego epizodu w krótkim logu z naturalnym końcem i wymuszonym przerwaniem.