Sari la conținutul principal

Meniu

Cercetare

Cum verifici jurnalele episoadelor RL înainte să compari câștigurile

Limbă: Română

Înainte să compari câștigul mediu pe episod, verifică ce acțiuni și episoade au intrat în calcul. Colectorul poate număra o resetare ca tranziție, poate salva prima observație din episodul următor la ultima tranziție din episodul anterior sau poate omite un episod oprit la limita de timp. Trei teste scurte cu Gymnasium 1.2.1 arată ce să verifici.

Numără acțiunile executate și verifică observația finală. Într-un test vectorial sincron cu două medii și cinci apeluri la step(), ambele moduri de resetare au returnat 10 rezultate pentru pozițiile mediilor. În modul NextStep, două rezultate au venit din resetări și au fost executate opt acțiuni. În modul SameStep au fost executate toate cele 10 acțiuni. Trei rezultate conțineau observația de după resetare când tranziția avea nevoie de observația finală. Pentru acele poziții, citește infos["final_obs"] folosind masca _final_obs. Verifică pentru fiecare poziție acțiunile executate și rezultatele care provin doar din resetări. Controlează ce observație următoare s-a salvat la tranzițiile care încheie episoadele. Implementarea mediilor vectoriale în Gymnasium 1.2.1

Păstrează ambii indicatori de final. Într-un test cu un singur mediu, două dintre cele trei episoade aveau inițial truncated=True la final. Unul dintre cele două avea și terminated=True. După conversia la vechiul API done și înapoi, numai episodul oprit exclusiv la limită mai avea truncated=True. Salvează cei doi indicatori înainte de conversie și verifică dacă ambii se păstrează la export și import, inclusiv când au simultan valoarea adevărat. Implementarea compatibilității în Gymnasium 1.2.1

Compară episoadele înregistrate cu rezultatele pașilor la ieșirea din stratul exterior. În alt test cu un singur mediu, cele două ordini ale straturilor au returnat aceleași observații, recompense și indicatori de final. Episoadele au avut câștiguri de 1 și 2. Cu RecordEpisodeStatistics în afara TimeLimit, ambele episoade apăreau în statistici, iar media înregistrată a fost 1.5. Cu stratul de statistici în interior, apărea numai episodul încheiat natural, iar media înregistrată a fost 1.0. Limita de timp exterioară a setat indicatorul de întrerupere după ce stratul interior de statistici a procesat pasul. Potrivește rezumatele cu ID-urile episoadelor și indicatorii de final din jurnalul exterior. Apoi recalculează media din câștigurile episoadelor incluse în metrică. Implementarea straturilor în Gymnasium 1.2.1

Pentru fiecare comparație, salvează versiunea bibliotecii, ordinea straturilor, modul de resetare dacă se aplică și numărul de episoade folosit la calculul mediei. Înainte să folosești rezultatul agregat, verifică numărul episoadelor și câștigul fiecăruia într-un jurnal scurt cu un final natural și o întrerupere forțată.