Riset
Cara memeriksa log episode RL sebelum membandingkan imbal hasil
Sebelum membandingkan imbal hasil rata-rata per episode, periksa tindakan dan episode mana yang dihitung. Pengumpul data bisa menghitung reset sebagai transisi, menyimpan observasi awal episode berikutnya pada transisi terakhir episode sebelumnya, atau melewatkan episode yang mencapai batas waktu. Tiga pengujian singkat di Gymnasium 1.2.1 menunjukkan hal yang perlu diperiksa.
Hitung tindakan yang dijalankan dan periksa observasi akhir. Dalam pengujian vektor sinkron dengan dua lingkungan dan lima panggilan ke step(), kedua mode reset mengembalikan 10 hasil untuk slot lingkungan. Pada NextStep, dua hasil berasal dari reset dan delapan tindakan dijalankan. Pada SameStep, semua 10 tindakan dijalankan. Tiga hasil memuat observasi reset ketika transisi memerlukan observasi akhir. Untuk slot tersebut, baca infos["final_obs"] menggunakan mask _final_obs. Cocokkan tindakan yang dijalankan dan hasil yang hanya berasal dari reset untuk setiap slot. Periksa observasi berikutnya yang disimpan pada transisi yang mengakhiri episode. Implementasi vektor Gymnasium 1.2.1
Simpan kedua penanda akhir. Dalam pengujian dengan satu lingkungan, dua dari tiga episode awalnya berakhir dengan truncated=True. Salah satunya juga memiliki terminated=True. Setelah dikonversi ke API lama done lalu dikonversi kembali, hanya episode yang berhenti karena batas yang masih memiliki truncated=True. Simpan kedua penanda sebelum konversi. Periksa apakah keduanya tetap ada setelah ekspor dan impor, termasuk saat keduanya bernilai benar sekaligus. Implementasi kompatibilitas Gymnasium 1.2.1
Cocokkan episode tercatat dengan hasil langkah dari lapisan terluar. Dalam pengujian lain dengan satu lingkungan, dua urutan pembungkus menghasilkan observasi, imbalan, dan penanda akhir yang sama. Kedua episode menghasilkan imbal hasil 1 dan 2. Dengan RecordEpisodeStatistics di luar TimeLimit, kedua episode muncul di statistik dan rata-rata yang tercatat adalah 1.5. Dengan pembungkus statistik di dalam, hanya episode yang berakhir secara alami yang tercatat dan rata-ratanya 1.0. Batas waktu di luar menetapkan penanda penghentian setelah pembungkus statistik di dalam memproses langkah tersebut. Cocokkan ringkasan dengan ID episode dan penanda akhir di catatan terluar. Lalu hitung ulang rata-rata dari imbal hasil episode yang masuk ke metrik. Implementasi pembungkus Gymnasium 1.2.1
Untuk tiap perbandingan, simpan versi pustaka, urutan pembungkus, mode reset jika berlaku, dan jumlah episode dalam rata-rata. Sebelum memakai hasil gabungan, periksa jumlah dan imbal hasil tiap episode menggunakan log singkat dengan akhir alami dan penghentian paksa.