Penyelidikan
Cara menyemak log episod RL sebelum membandingkan pulangan
Sebelum membandingkan purata pulangan setiap episod, semak tindakan dan episod yang dimasukkan dalam kiraan. Pengumpul data boleh mengira tetapan semula sebagai peralihan, menyimpan pemerhatian awal episod berikutnya pada peralihan terakhir episod sebelumnya atau terlepas episod yang tamat pada had masa. Tiga ujian ringkas dengan Gymnasium 1.2.1 menunjukkan perkara yang perlu disemak.
Kira tindakan yang dilakukan dan semak pemerhatian akhir. Dalam ujian vektor segerak dengan dua persekitaran dan lima panggilan kepada step(), kedua-dua mod tetapan semula memberikan 10 hasil untuk slot persekitaran. Dengan NextStep, dua hasil datang daripada tetapan semula dan lapan tindakan dilakukan. Dengan SameStep, kesemua 10 tindakan dilakukan. Tiga hasil mengandungi pemerhatian selepas tetapan semula apabila peralihan memerlukan pemerhatian akhir. Untuk slot itu, baca infos["final_obs"] menggunakan topeng _final_obs. Semak tindakan yang dilakukan dan hasil daripada tetapan semula sahaja bagi setiap slot. Periksa pemerhatian seterusnya yang disimpan pada peralihan yang menamatkan episod. Pelaksanaan vektor Gymnasium 1.2.1
Simpan kedua-dua penanda tamat. Dalam ujian dengan satu persekitaran, dua daripada tiga episod pada mulanya tamat dengan truncated=True. Salah satu turut mempunyai terminated=True. Selepas ditukar kepada API lama done dan ditukar kembali, hanya episod yang berhenti semata-mata kerana had masih mempunyai truncated=True. Simpan kedua-dua penanda sebelum penukaran. Semak bahawa kedua-duanya masih ada selepas eksport dan import, termasuk apabila kedua-duanya bernilai benar serentak. Pelaksanaan keserasian Gymnasium 1.2.1
Padankan episod yang direkodkan dengan hasil langkah dari lapisan paling luar. Dalam ujian lain dengan satu persekitaran, kedua-dua susunan pembalut mengembalikan pemerhatian, ganjaran dan penanda tamat yang sama. Dua episod itu mempunyai pulangan 1 dan 2. Apabila RecordEpisodeStatistics di luar TimeLimit, kedua-dua episod masuk ke statistik, dengan purata direkodkan 1.5. Apabila pembalut statistik di dalam, hanya episod yang tamat secara semula jadi direkodkan dan puratanya 1.0. Had masa di luar menetapkan penanda henti selepas pembalut statistik di dalam memproses langkah itu. Padankan ringkasan dengan ID episod dan penanda tamat dalam log terluar. Kira semula purata daripada pulangan episod yang termasuk dalam metrik. Pelaksanaan pembalut Gymnasium 1.2.1
Untuk setiap perbandingan, simpan versi pustaka, susunan pembalut, mod tetapan semula jika berkaitan dan bilangan episod dalam purata. Sebelum menggunakan hasil gabungan, semak bilangan dan pulangan setiap episod menggunakan log pendek dengan penamatan biasa dan pemberhentian paksa.