Vai al contenuto principale

Menu

Ricerca

Come controllare i registri degli episodi di RL prima di confrontare i ritorni

Lingua: Italiano

Prima di confrontare il ritorno medio per episodio, controlla quali azioni ed episodi entrano nel calcolo. Il sistema di raccolta può contare un ripristino come transizione, salvare l’osservazione iniziale di un episodio nell’ultima transizione di quello precedente o saltare un episodio terminato al limite di tempo. Tre brevi prove con Gymnasium 1.2.1 mostrano cosa controllare.

Conta le azioni eseguite e controlla l’osservazione finale. In una prova vettoriale sincrona con due ambienti e cinque chiamate a step(), entrambe le modalità di ripristino hanno restituito 10 risultati per le posizioni degli ambienti. Con NextStep, due risultati venivano da ripristini e sono state eseguite otto azioni. Con SameStep sono state eseguite tutte le 10 azioni. Tre risultati contenevano l’osservazione del ripristino quando alla transizione serviva l’osservazione finale. Per quelle posizioni leggi infos["final_obs"] usando la maschera _final_obs. Per ogni posizione conta separatamente le azioni eseguite e i risultati di solo ripristino. Controlla l’osservazione successiva salvata nelle transizioni di fine episodio. Implementazione vettoriale di Gymnasium 1.2.1

Conserva entrambi gli indicatori di fine. In una prova con un solo ambiente, due episodi su tre erano terminati con truncated=True. Uno dei due aveva anche terminated=True. Dopo la conversione alla vecchia API done e ritorno, solo l’episodio interrotto per il limite aveva ancora truncated=True. Salva ogni indicatore prima della conversione e verifica che entrambi siano conservati durante l’esportazione e l’importazione, anche quando sono veri insieme. Implementazione della compatibilità in Gymnasium 1.2.1

Confronta gli episodi registrati con i risultati dello strato esterno. In un’altra prova con un solo ambiente, i due ordini dei wrapper hanno restituito le stesse osservazioni, ricompense e indicatori di fine. I due episodi hanno avuto ritorni di 1 e 2. Con RecordEpisodeStatistics all’esterno di TimeLimit, entrambi gli episodi erano nelle statistiche, con una media registrata di 1.5. Con il wrapper delle statistiche all’interno, compariva solo l’episodio concluso naturalmente e la media era 1.0. Il limite di tempo esterno ha impostato l’indicatore di interruzione dopo che il wrapper interno aveva elaborato il passo. Associa i riepiloghi agli ID degli episodi e agli indicatori di fine nella traccia esterna, poi ricalcola la media dei ritorni degli episodi inclusi nella metrica. Implementazione dei wrapper in Gymnasium 1.2.1

Per ogni confronto, salva la versione della libreria, l’ordine dei wrapper, la modalità di ripristino se pertinente e il numero di episodi usato per la media. Prima di usare il risultato aggregato, verifica i conteggi e i ritorni per episodio su una breve traccia con una conclusione naturale e un’interruzione forzata.