# Cara menyemak log episod RL sebelum membandingkan pulangan

Sebelum membandingkan purata pulangan setiap episod, semak tindakan dan episod yang dimasukkan dalam kiraan. Pengumpul data boleh mengira tetapan semula sebagai peralihan, menyimpan pemerhatian awal episod berikutnya pada peralihan terakhir episod sebelumnya atau terlepas episod yang tamat pada had masa. Tiga ujian ringkas dengan Gymnasium 1.2.1 menunjukkan perkara yang perlu disemak.

**Kira tindakan yang dilakukan dan semak pemerhatian akhir.** Dalam ujian vektor segerak dengan dua persekitaran dan lima panggilan kepada `step()`, kedua-dua mod tetapan semula memberikan 10 hasil untuk slot persekitaran. Dengan `NextStep`, dua hasil datang daripada tetapan semula dan lapan tindakan dilakukan. Dengan `SameStep`, kesemua 10 tindakan dilakukan. Tiga hasil mengandungi pemerhatian selepas tetapan semula apabila peralihan memerlukan pemerhatian akhir. Untuk slot itu, baca `infos["final_obs"]` menggunakan topeng `_final_obs`. Semak tindakan yang dilakukan dan hasil daripada tetapan semula sahaja bagi setiap slot. Periksa pemerhatian seterusnya yang disimpan pada peralihan yang menamatkan episod. [Pelaksanaan vektor Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**Tindakan yang dilaksanakan**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**Simpan kedua-dua penanda tamat.** Dalam ujian dengan satu persekitaran, dua daripada tiga episod pada mulanya tamat dengan `truncated=True`. Salah satu turut mempunyai `terminated=True`. Selepas ditukar kepada API lama `done` dan ditukar kembali, hanya episod yang berhenti semata-mata kerana had masih mempunyai `truncated=True`. Simpan kedua-dua penanda sebelum penukaran. Semak bahawa kedua-duanya masih ada selepas eksport dan import, termasuk apabila kedua-duanya bernilai benar serentak. [Pelaksanaan keserasian Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**Padankan episod yang direkodkan dengan hasil langkah dari lapisan paling luar.** Dalam ujian lain dengan satu persekitaran, kedua-dua susunan pembalut mengembalikan pemerhatian, ganjaran dan penanda tamat yang sama. Dua episod itu mempunyai pulangan 1 dan 2. Apabila `RecordEpisodeStatistics` di luar `TimeLimit`, kedua-dua episod masuk ke statistik, dengan purata direkodkan 1.5. Apabila pembalut statistik di dalam, hanya episod yang tamat secara semula jadi direkodkan dan puratanya 1.0. Had masa di luar menetapkan penanda henti selepas pembalut statistik di dalam memproses langkah itu. Padankan ringkasan dengan ID episod dan penanda tamat dalam log terluar. Kira semula purata daripada pulangan episod yang termasuk dalam metrik. [Pelaksanaan pembalut Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

Untuk setiap perbandingan, simpan versi pustaka, susunan pembalut, mod tetapan semula jika berkaitan dan bilangan episod dalam purata. Sebelum menggunakan hasil gabungan, semak bilangan dan pulangan setiap episod menggunakan log pendek dengan penamatan biasa dan pemberhentian paksa.

[Muat turun skrip dan log yang disimpan (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
