ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีตรวจสอบบันทึกเอพิโซด RL ก่อนเปรียบเทียบผลตอบแทน

ภาษาของบทความ: ไทย

ก่อนเปรียบเทียบผลตอบแทนเฉลี่ยต่อเอพิโซด ให้ตรวจว่าการคำนวณรวมการกระทำและเอพิโซดใดบ้าง ตัวเก็บข้อมูลอาจนับการรีเซ็ตเป็นการเปลี่ยนสถานะ เก็บค่าสังเกตแรกของเอพิโซดถัดไปไว้กับการเปลี่ยนสถานะสุดท้ายของเอพิโซดก่อนหน้า หรือข้ามเอพิโซดที่จบเมื่อถึงเวลาที่กำหนด การทดสอบสั้น ๆ สามรายการด้วย Gymnasium 1.2.1 แสดงสิ่งที่ควรตรวจ

นับการกระทำที่ระบบนำไปใช้และตรวจค่าสังเกตสุดท้าย ในการทดสอบเวกเตอร์แบบซิงโครนัสที่มีสองสภาพแวดล้อมและเรียก step() ห้าครั้ง โหมดรีเซ็ตทั้งสองส่งคืนผลจากช่องของสภาพแวดล้อม 10 รายการ ในโหมด NextStep ผลสองรายการมาจากการรีเซ็ตและมีการนำการกระทำไปใช้แปดครั้ง ในโหมด SameStep ระบบนำการกระทำไปใช้ครบ 10 ครั้ง ผลสามรายการมีค่าสังเกตหลังรีเซ็ตในจุดที่การเปลี่ยนสถานะต้องใช้ค่าสังเกตสุดท้าย สำหรับช่องเหล่านั้น ให้อ่าน infos["final_obs"] โดยใช้มาสก์ _final_obs ตรวจสอบแต่ละช่องว่ามีการกระทำใดถูกนำไปใช้และผลใดมาจากการรีเซ็ตเพียงอย่างเดียว จากนั้นดูค่าสังเกตถัดไปที่บันทึกไว้เมื่อเอพิโซดจบ โค้ดสภาพแวดล้อมเวกเตอร์ใน Gymnasium 1.2.1

เก็บแฟล็กบอกการจบทั้งสองตัว ในการทดสอบที่ใช้สภาพแวดล้อมเดียว เอพิโซดสองจากสามตอนเดิมจบโดยมี truncated=True หนึ่งในสองตอนนั้นมี terminated=True ด้วย เมื่อแปลงไปใช้ API done แบบเก่าแล้วแปลงกลับ มีเพียงเอพิโซดที่หยุดเพราะถึงขีดจำกัดอย่างเดียวที่ยังมี truncated=True บันทึกแฟล็กทั้งสองก่อนแปลงและตรวจว่าทั้งคู่ยังอยู่หลังส่งออกและนำเข้า รวมถึงเมื่อทั้งสองมีค่าเป็นจริงพร้อมกัน โค้ดสำหรับความเข้ากันได้ใน Gymnasium 1.2.1

เทียบเอพิโซดที่บันทึกกับผลของแต่ละขั้นจากชั้นนอกสุด ในอีกการทดสอบที่ใช้สภาพแวดล้อมเดียว การจัดลำดับแรปเปอร์ทั้งสองแบบให้ค่าสังเกต รางวัล และแฟล็กบอกการจบเหมือนกัน เอพิโซดทั้งสองมีผลตอบแทน 1 และ 2 เมื่อวาง RecordEpisodeStatistics ไว้นอก TimeLimit สถิติรวมทั้งสองเอพิโซดและบันทึกค่าเฉลี่ยไว้ที่ 1.5 เมื่อแรปเปอร์สถิติอยู่ข้างใน ระบบบันทึกเฉพาะเอพิโซดที่จบตามปกติ และค่าเฉลี่ยอยู่ที่ 1.0 แรปเปอร์จำกัดเวลาชั้นนอกตั้งแฟล็กหยุดหลังจากแรปเปอร์สถิติชั้นในประมวลผลขั้นนั้นแล้ว จับคู่ข้อมูลสรุปกับรหัสเอพิโซดและแฟล็กบอกการจบในบันทึกชั้นนอก แล้วคำนวณค่าเฉลี่ยใหม่จากผลตอบแทนของเอพิโซดที่อยู่ในตัวชี้วัด โค้ดแรปเปอร์ใน Gymnasium 1.2.1

สำหรับการเปรียบเทียบแต่ละครั้ง ให้บันทึกเวอร์ชันไลบรารี ลำดับแรปเปอร์ โหมดรีเซ็ตถ้าเกี่ยวข้อง และจำนวนเอพิโซดที่ใช้หาค่าเฉลี่ย ก่อนใช้ผลรวม ให้ตรวจจำนวนและผลตอบแทนรายเอพิโซดจากบันทึกสั้น ๆ ที่มีทั้งการจบตามปกติและการบังคับหยุด