Forschung
So prüfst du RL-Episodenprotokolle vor dem Vergleich von Returns
Prüfe vor dem Vergleich der mittleren Episodenreturns, welche Aktionen und Episoden in die Berechnung eingegangen sind. Die Datenerfassung kann einen Reset als Übergang zählen, beim letzten Übergang einer Episode die Anfangsbeobachtung der nächsten Episode speichern oder eine Episode am Zeitlimit übergehen. Drei kurze Versuche mit Gymnasium 1.2.1 zeigen, worauf es ankommt.
Zähle ausgeführte Aktionen und prüfe die letzte Beobachtung. In einem synchronen Vektortest mit zwei Umgebungen und fünf Aufrufen von step() lieferten beide Reset-Modi 10 Ergebnisse für die Umgebungsplätze. Bei NextStep stammten zwei Ergebnisse aus Resets, und acht Aktionen wurden ausgeführt. Bei SameStep wurden alle 10 Aktionen ausgeführt. Drei Ergebnisse enthielten die Beobachtung nach dem Reset, obwohl für den Übergang die letzte Beobachtung gebraucht wurde. Lies für diese Plätze infos["final_obs"] mithilfe der Maske _final_obs. Gleiche für jeden Umgebungsplatz die ausgeführten Aktionen und die reinen Reset-Ergebnisse ab. Prüfe bei Übergängen am Episodenende, welche Folgebeobachtung gespeichert wurde. Vektorimplementierung in Gymnasium 1.2.1
Behalte beide Endkennzeichen. In einem Test mit einer einzelnen Umgebung endeten ursprünglich zwei von drei Episoden mit truncated=True. Eine davon hatte zugleich terminated=True. Nach der Konvertierung in die alte done-API und zurück hatte nur noch die Episode mit reinem Abbruch truncated=True. Sichere jedes Kennzeichen vor der Konvertierung. Prüfe, ob beide beim Export und Import erhalten bleiben, auch wenn beide gleichzeitig wahr sind. Kompatibilitätsimplementierung in Gymnasium 1.2.1
Gleiche die erfassten Episoden mit den Ergebnissen der äußeren Schicht ab. In einem anderen Test mit einer einzelnen Umgebung lieferten beide Wrapper-Reihenfolgen dieselben Beobachtungen, Belohnungen und Endkennzeichen. Die beiden Episoden hatten Returns von 1 und 2. Mit RecordEpisodeStatistics außen und TimeLimit innen erschienen beide Episoden in der Statistik, und der erfasste Mittelwert lag bei 1.5. Mit dem Statistik-Wrapper innen erschien nur die regulär beendete Episode. Der erfasste Mittelwert lag bei 1.0. Das äußere Zeitlimit setzte das Abbruchkennzeichen erst, nachdem der innere Statistik-Wrapper den Schritt verarbeitet hatte. Gleiche die Zusammenfassungen mit den Episoden-IDs und Endkennzeichen im äußeren Protokoll ab. Berechne dann den Mittelwert anhand der Returns der Episoden, die deine Metrik berücksichtigt. Wrapper-Implementierung in Gymnasium 1.2.1
Speichere für jeden Vergleich die Bibliotheksversion, die Wrapper-Reihenfolge, gegebenenfalls den Reset-Modus und die Zahl der Episoden im Mittelwert. Prüfe vor der Verwendung des Mittelwerts die Anzahlen und Returns pro Episode anhand eines kurzen Protokolls mit einem regulären Ende und einem erzwungenen Abbruch.