# So prüfst du RL-Episodenprotokolle vor dem Vergleich von Returns

Prüfe vor dem Vergleich der mittleren Episodenreturns, welche Aktionen und Episoden in die Berechnung eingegangen sind. Die Datenerfassung kann einen Reset als Übergang zählen, beim letzten Übergang einer Episode die Anfangsbeobachtung der nächsten Episode speichern oder eine Episode am Zeitlimit übergehen. Drei kurze Versuche mit Gymnasium 1.2.1 zeigen, worauf es ankommt.

**Zähle ausgeführte Aktionen und prüfe die letzte Beobachtung.** In einem synchronen Vektortest mit zwei Umgebungen und fünf Aufrufen von `step()` lieferten beide Reset-Modi 10 Ergebnisse für die Umgebungsplätze. Bei `NextStep` stammten zwei Ergebnisse aus Resets, und acht Aktionen wurden ausgeführt. Bei `SameStep` wurden alle 10 Aktionen ausgeführt. Drei Ergebnisse enthielten die Beobachtung nach dem Reset, obwohl für den Übergang die letzte Beobachtung gebraucht wurde. Lies für diese Plätze `infos["final_obs"]` mithilfe der Maske `_final_obs`. Gleiche für jeden Umgebungsplatz die ausgeführten Aktionen und die reinen Reset-Ergebnisse ab. Prüfe bei Übergängen am Episodenende, welche Folgebeobachtung gespeichert wurde. [Vektorimplementierung in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Ausgeführte Aktionen**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Behalte beide Endkennzeichen.** In einem Test mit einer einzelnen Umgebung endeten ursprünglich zwei von drei Episoden mit `truncated=True`. Eine davon hatte zugleich `terminated=True`. Nach der Konvertierung in die alte `done`-API und zurück hatte nur noch die Episode mit reinem Abbruch `truncated=True`. Sichere jedes Kennzeichen vor der Konvertierung. Prüfe, ob beide beim Export und Import erhalten bleiben, auch wenn beide gleichzeitig wahr sind. [Kompatibilitätsimplementierung in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Gleiche die erfassten Episoden mit den Ergebnissen der äußeren Schicht ab.** In einem anderen Test mit einer einzelnen Umgebung lieferten beide Wrapper-Reihenfolgen dieselben Beobachtungen, Belohnungen und Endkennzeichen. Die beiden Episoden hatten Returns von 1 und 2. Mit `RecordEpisodeStatistics` außen und `TimeLimit` innen erschienen beide Episoden in der Statistik, und der erfasste Mittelwert lag bei 1.5. Mit dem Statistik-Wrapper innen erschien nur die regulär beendete Episode. Der erfasste Mittelwert lag bei 1.0. Das äußere Zeitlimit setzte das Abbruchkennzeichen erst, nachdem der innere Statistik-Wrapper den Schritt verarbeitet hatte. Gleiche die Zusammenfassungen mit den Episoden-IDs und Endkennzeichen im äußeren Protokoll ab. Berechne dann den Mittelwert anhand der Returns der Episoden, die deine Metrik berücksichtigt. [Wrapper-Implementierung in Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Speichere für jeden Vergleich die Bibliotheksversion, die Wrapper-Reihenfolge, gegebenenfalls den Reset-Modus und die Zahl der Episoden im Mittelwert. Prüfe vor der Verwendung des Mittelwerts die Anzahlen und Returns pro Episode anhand eines kurzen Protokolls mit einem regulären Ende und einem erzwungenen Abbruch.

[Skripte und gespeicherte Protokolle herunterladen (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
