# วิธีตรวจสอบบันทึกเอพิโซด RL ก่อนเปรียบเทียบผลตอบแทน

ก่อนเปรียบเทียบผลตอบแทนเฉลี่ยต่อเอพิโซด ให้ตรวจว่าการคำนวณรวมการกระทำและเอพิโซดใดบ้าง ตัวเก็บข้อมูลอาจนับการรีเซ็ตเป็นการเปลี่ยนสถานะ เก็บค่าสังเกตแรกของเอพิโซดถัดไปไว้กับการเปลี่ยนสถานะสุดท้ายของเอพิโซดก่อนหน้า หรือข้ามเอพิโซดที่จบเมื่อถึงเวลาที่กำหนด การทดสอบสั้น ๆ สามรายการด้วย Gymnasium 1.2.1 แสดงสิ่งที่ควรตรวจ

**นับการกระทำที่ระบบนำไปใช้และตรวจค่าสังเกตสุดท้าย** ในการทดสอบเวกเตอร์แบบซิงโครนัสที่มีสองสภาพแวดล้อมและเรียก `step()` ห้าครั้ง โหมดรีเซ็ตทั้งสองส่งคืนผลจากช่องของสภาพแวดล้อม 10 รายการ ในโหมด `NextStep` ผลสองรายการมาจากการรีเซ็ตและมีการนำการกระทำไปใช้แปดครั้ง ในโหมด `SameStep` ระบบนำการกระทำไปใช้ครบ 10 ครั้ง ผลสามรายการมีค่าสังเกตหลังรีเซ็ตในจุดที่การเปลี่ยนสถานะต้องใช้ค่าสังเกตสุดท้าย สำหรับช่องเหล่านั้น ให้อ่าน `infos["final_obs"]` โดยใช้มาสก์ `_final_obs` ตรวจสอบแต่ละช่องว่ามีการกระทำใดถูกนำไปใช้และผลใดมาจากการรีเซ็ตเพียงอย่างเดียว จากนั้นดูค่าสังเกตถัดไปที่บันทึกไว้เมื่อเอพิโซดจบ [โค้ดสภาพแวดล้อมเวกเตอร์ใน Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/vector/sync_vector_env.py)

**การกระทำที่ดำเนินการจริง**

| | n |
| --- | ---: |
| `NextStep` | 8 / 10 |
| `SameStep` | 10 / 10 |

**เก็บแฟล็กบอกการจบทั้งสองตัว** ในการทดสอบที่ใช้สภาพแวดล้อมเดียว เอพิโซดสองจากสามตอนเดิมจบโดยมี `truncated=True` หนึ่งในสองตอนนั้นมี `terminated=True` ด้วย เมื่อแปลงไปใช้ API `done` แบบเก่าแล้วแปลงกลับ มีเพียงเอพิโซดที่หยุดเพราะถึงขีดจำกัดอย่างเดียวที่ยังมี `truncated=True` บันทึกแฟล็กทั้งสองก่อนแปลงและตรวจว่าทั้งคู่ยังอยู่หลังส่งออกและนำเข้า รวมถึงเมื่อทั้งสองมีค่าเป็นจริงพร้อมกัน [โค้ดสำหรับความเข้ากันได้ใน Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/utils/step_api_compatibility.py)

**เทียบเอพิโซดที่บันทึกกับผลของแต่ละขั้นจากชั้นนอกสุด** ในอีกการทดสอบที่ใช้สภาพแวดล้อมเดียว การจัดลำดับแรปเปอร์ทั้งสองแบบให้ค่าสังเกต รางวัล และแฟล็กบอกการจบเหมือนกัน เอพิโซดทั้งสองมีผลตอบแทน 1 และ 2 เมื่อวาง `RecordEpisodeStatistics` ไว้นอก `TimeLimit` สถิติรวมทั้งสองเอพิโซดและบันทึกค่าเฉลี่ยไว้ที่ 1.5 เมื่อแรปเปอร์สถิติอยู่ข้างใน ระบบบันทึกเฉพาะเอพิโซดที่จบตามปกติ และค่าเฉลี่ยอยู่ที่ 1.0 แรปเปอร์จำกัดเวลาชั้นนอกตั้งแฟล็กหยุดหลังจากแรปเปอร์สถิติชั้นในประมวลผลขั้นนั้นแล้ว จับคู่ข้อมูลสรุปกับรหัสเอพิโซดและแฟล็กบอกการจบในบันทึกชั้นนอก แล้วคำนวณค่าเฉลี่ยใหม่จากผลตอบแทนของเอพิโซดที่อยู่ในตัวชี้วัด [โค้ดแรปเปอร์ใน Gymnasium 1.2.1](https://raw.githubusercontent.com/Farama-Foundation/Gymnasium/v1.2.1/gymnasium/wrappers/common.py)

สำหรับการเปรียบเทียบแต่ละครั้ง ให้บันทึกเวอร์ชันไลบรารี ลำดับแรปเปอร์ โหมดรีเซ็ตถ้าเกี่ยวข้อง และจำนวนเอพิโซดที่ใช้หาค่าเฉลี่ย ก่อนใช้ผลรวม ให้ตรวจจำนวนและผลตอบแทนรายเอพิโซดจากบันทึกสั้น ๆ ที่มีทั้งการจบตามปกติและการบังคับหยุด

[ดาวน์โหลดสคริปต์และบันทึกที่จัดเก็บไว้ (ZIP)](https://sapien1.com/research/check-rl-episode-logs-evidence/rl-episode-log-replay.zip)
