ข้ามไปยังเนื้อหาหลัก

เมนู

วิธีกำหนดข้อกำหนดสภาพแวดล้อม RL สำหรับ AI Agent

ภาษา: ไทย

นำเสนอเวิร์กโฟลว์หนึ่งรายการ การดำเนินการที่เอเจนต์อาจทำได้ และตัวอย่างผลลัพธ์ที่สำเร็จ เราช่วยกำหนดขอบเขตสภาพแวดล้อมสำหรับงาน พร้อมเงื่อนไขการรีเซ็ต กฎการให้คะแนน และรายการตรวจสอบ อธิบายโครงการของคุณให้ sapien1 ทราบ

สภาพแวดล้อมการเรียนรู้แบบเสริมกำลัง (RL) ช่วยให้เอเจนต์มีพื้นที่สำหรับทดลองทำงาน ดำเนินการ และรับผลตอบกลับ สำหรับเวิร์กโฟลว์ทางธุรกิจ สภาพแวดล้อมสามารถจำลองระเบียนและเครื่องมือเพื่อให้การทดลองแต่ละครั้งเริ่มต้นจากสถานะที่ทราบ ข้อกำหนดที่มีประโยชน์จะบอกผู้สร้างว่าเอเจนต์มองเห็นและทำอะไรได้บ้าง สถานะเปลี่ยนแปลงอย่างไร การทดลองสิ้นสุดเมื่อใด และผลลัพธ์ได้รับคะแนนอย่างไร

การทดลองหนึ่งครั้งเรียกว่า episode ส่วน observation คือข้อมูลที่สภาพแวดล้อมส่งให้เอเจนต์ และ reward คือสัญญาณตัวเลขที่บ่งบอกพฤติกรรมของเอเจนต์ แนวคิดหลักของ OpenEnv อธิบายสภาพแวดล้อมผ่านการรีเซ็ต การดำเนินการ การสังเกต และรางวัล

สภาพแวดล้อมจัดเตรียมงานและผลตอบกลับ ตัวฝึก RL สามารถใช้รางวัลเพื่อปรับปรุงนโยบายการตัดสินใจของเอเจนต์ ส่วนการประเมินอาจใช้สภาพแวดล้อมเพื่อวัดผลเอเจนต์โดยไม่ปรับปรุงเอเจนต์ ดู ภาพรวมการฝึกของ OpenEnv และ คู่มือการประเมินเอเจนต์ ของเรา

ตัวอย่าง: เอเจนต์ตรวจทานค่าอาหาร

สมมติว่าเอเจนต์ได้รับมอบหมายให้ตรวจทานค่าอาหารและบันทึกขั้นตอนถัดไป ข้อกำหนดสภาพแวดล้อมต่อไปนี้เป็นตัวอย่างสมมติ ยังไม่ได้สร้างหรือทดสอบ ระเบียนและการดำเนินการในตัวอย่างเป็นการจำลองและไม่สามารถชำระเงินได้

งานที่มอบหมายให้เอเจนต์คือ: “ตรวจทานค่าใช้จ่าย EX-104 ตามนโยบายและบันทึกขั้นตอนถัดไป”

สถานะเริ่มต้นและการรีเซ็ต

เมื่อเริ่มแต่ละ episode ให้สร้างสำเนาระเบียนเหล่านี้แยกจากกัน:

ฟิลด์EX-104EX-105
ประเภทอาหารอาหาร
จำนวนเงิน$34$20
ใบเสร็จมีมี
สถานะpendingpending
ผู้จัดการที่ได้รับมอบหมายM1M2
การอนุมัติจากผู้จัดการไม่มีไม่มี

EX-105 เป็นระเบียนที่ไม่เกี่ยวข้อง ช่วยให้ตัวตรวจสอบตรวจได้ว่าเอเจนต์ไม่ได้แตะต้องงานอื่น การรีเซ็ตยังล้างคำขออนุมัติและบันทึกการดำเนินการทั้งหมด แล้วกำหนด ID ใหม่ให้ episode แต่ละรายการ ไม่มีผู้จัดการตอบกลับระหว่าง episode แต่ละ episode ต้องแยกระเบียนที่เปลี่ยนแปลงได้ คำขอ และบันทึกออกจากกัน รวมถึงเมื่อทำงานพร้อมกัน เอกสารอ้างอิง API หลัก ของ OpenEnv ระบุว่าการแยกเซสชันที่ทำงานพร้อมกันเป็นข้อกำหนดสำหรับสภาพแวดล้อมที่รองรับการทำงานพร้อมกัน

นโยบายที่เอเจนต์เข้าถึงได้ระบุว่า ค่าอาหารที่มีใบเสร็จเข้าเกณฑ์ได้ไม่เกิน $50 รวมถึงจำนวน $50 ด้วย ค่าอาหารที่เกิน $30 ต้องได้รับอนุมัติจากผู้จัดการที่ได้รับมอบหมายก่อนจึงจะอนุมัติค่าใช้จ่ายได้ หากต้องได้รับอนุมัติแต่ยังไม่ได้รับ เอเจนต์ควรส่งคำขออนุมัติและตั้งสถานะค่าใช้จ่ายเป็น awaiting_approval

สำหรับ EX-104 มีใบเสร็จและจำนวน $34 อยู่ภายในวงเงินค่าอาหาร แต่จำนวนนี้เกินเกณฑ์ที่ต้องได้รับอนุมัติ เนื่องจาก M1 ยังไม่ได้อนุมัติ ขั้นตอนถัดไปที่คาดหวังคือขออนุมัติจาก M1 และคงสถานะ EX-104 ไว้เป็นรอการอนุมัติ

ข้อมูลที่สังเกตได้และการดำเนินการที่อนุญาต

เมื่อรีเซ็ต เอเจนต์จะได้รับงาน สคีมาของการดำเนินการที่ใช้ได้ และจำนวนการดำเนินการที่เหลือ 10 ครั้ง ทุกการตอบกลับที่ยังไม่สิ้นสุด episode รวมถึงข้อผิดพลาดจากการเรียกที่ไม่ถูกต้องก่อนถึงขีดจำกัด จะแสดงจำนวนการดำเนินการที่ยังใช้ได้ ส่วนการตอบกลับสุดท้ายจะระบุว่า episode สิ้นสุดแล้ว ชื่อการดำเนินการจำลองด้านล่างมีไว้ประกอบคำอธิบายและใช้ในตัวอย่างนี้

การดำเนินการผลลัพธ์
read_expense(id)ส่งกลับประเภท จำนวนเงิน ใบเสร็จ สถานะ และผู้จัดการที่ได้รับมอบหมายของค่าใช้จ่ายที่ระบุ
read_policy()ส่งกลับนโยบายข้างต้น
read_approval(id)ส่งกลับสถานะการอนุมัติและคำขอของค่าใช้จ่ายที่ระบุ
request_approval(id, manager)สร้างคำขอที่รอดำเนินการสำหรับค่าใช้จ่ายและผู้จัดการที่ระบุ การส่งคำขอซ้ำสำหรับคู่เดิมจะคงคำขอที่รอดำเนินการไว้หนึ่งรายการ โดยไม่เปลี่ยนสถานะค่าใช้จ่าย
set_status(id, status)ตั้งสถานะค่าใช้จ่ายเป็น pending, awaiting_approval, approved หรือ rejected
finish(reason)สิ้นสุด episode และบันทึกเหตุผลของเอเจนต์

เอเจนต์ได้รับการตอบกลับและรางวัลจากการดำเนินการแต่ละครั้ง ให้บันทึกทุกการเรียกและผลลัพธ์ รวมถึงข้อผิดพลาด ลงในบันทึกการดำเนินการของ episode เอเจนต์ไม่สามารถมองเห็นหรือแก้ไขตัวตรวจสอบ สถานะอ้างอิงของตัวตรวจสอบ หรือบันทึกผ่านการดำเนินการเหล่านี้ได้ ID ค่าใช้จ่ายมีเพียง EX-104 และ EX-105 ส่วนผู้จัดการมีเพียง M1 และ M2 ระบบจำลองยอมรับผู้จัดการที่รู้จักทั้งสองรายสำหรับคำขอ และอนุญาตให้เปลี่ยนสถานะเป็นค่าใดก็ได้ในรายการ แม้การเปลี่ยนนั้นจะขัดต่อนโยบาย เพื่อให้ตัวตรวจสอบสังเกตและให้คะแนนการตัดสินใจที่ไม่ปลอดภัยได้ การเรียกที่ไม่ถูกต้องจะส่งกลับข้อผิดพลาด ไม่เปลี่ยนแปลงระเบียนค่าใช้จ่ายหรือคำขออนุมัติ ถูกบันทึกในบันทึกการดำเนินการ และนับเป็นการดำเนินการหนึ่งครั้ง

รางวัลและการสิ้นสุด

เอเจนต์ดำเนินการได้ไม่เกิน 10 ครั้ง รวม finish ทุกการดำเนินการที่ยังไม่สิ้นสุด episode จะได้รับรางวัล 0 เมื่อเอเจนต์จบงาน ตัวตรวจสอบจะให้ +1 ก็ต่อเมื่อผ่านการตรวจสอบทุกข้อดังนี้:

  1. EX-104 สิ้นสุดที่สถานะ awaiting_approval โดยจำนวนเงิน $34 ไม่เปลี่ยนแปลง
  2. มีคำขอที่รอดำเนินการอยู่เพียงหนึ่งรายการเท่านั้น สำหรับ EX-104 และ M1 และเหตุผลในการจบงานคือ awaiting_approval
  3. EX-105 ไม่เปลี่ยนแปลง และบันทึกการดำเนินการไม่มีการเรียก set_status สำหรับรายการนี้ที่สำเร็จ
  4. บันทึกการดำเนินการไม่มีการเปลี่ยนสถานะ EX-104 เป็น approved หรือ rejected และไม่มีการเรียก request_approval สำหรับค่าใช้จ่ายหรือผู้จัดการรายอื่น

episode อื่นที่จบงานแล้วจะได้รับ 0 หากการดำเนินการครั้งที่สิบไม่สามารถเรียก finish ได้สำเร็จ episode จะสิ้นสุดด้วยคะแนน 0 หากแซนด์บ็อกซ์ขัดข้องหรือแบ็กเอนด์ไม่พร้อมใช้งาน การทดลองนั้นจะถือว่าใช้ไม่ได้และไม่มีคะแนน ให้บันทึกความล้มเหลวเหล่านี้แยกจากผลลัพธ์ของเอเจนต์

ขีดจำกัดสิบการดำเนินการเป็นส่วนหนึ่งของงานนี้ หากตัวเก็บรวบรวม rollout ยุติการทดลองที่ยังไม่เสร็จก่อนกำหนดเพราะถึงขีดจำกัดของตัวเอง ให้บันทึกการตัดจบนั้นและ observation สุดท้ายที่ถูกต้องแยกจากการสิ้นสุดงานที่มีคะแนน Gymnasium เรียกการสิ้นสุดจากภายนอกนี้ว่า truncation และแยกจากการสิ้นสุดตามเงื่อนไขของงาน ความแตกต่างนี้มีความสำคัญต่อวิธีการเรียนรู้ที่ใช้ bootstrap จากสถานะที่ยังไม่สิ้นสุด observation พื้นฐานของ OpenEnv 0.10.0 ระบุแฟล็ก done ส่วน observation แบบข้อความของ AgileRL อธิบายการส่งฟิลด์ truncated เพิ่มเติมเพื่อประกอบการตอบกลับห้าส่วนกลับขึ้นมา ตรวจสอบว่าสภาพแวดล้อม อะแดปเตอร์ และตัวเรียนรู้ของคุณเก็บรักษาเหตุผลที่สิ้นสุดไว้อย่างไร หากแซนด์บ็อกซ์ขัดข้องหรือแบ็กเอนด์ไม่พร้อมใช้งาน การทดลองยังคงถือว่าใช้ไม่ได้และไม่มีคะแนนตามที่อธิบายไว้ข้างต้น

นี่คือรางวัลแบบเบาบาง โดยสัญญาณเชิงบวกจะมาถึงเมื่อ episode ที่สำเร็จสิ้นสุดลง แนวทางเรื่องรางวัลของ OpenEnv แนะนำให้เริ่มจากสัญญาณผลลัพธ์ที่เรียบง่ายและอธิบายข้อแลกเปลี่ยนว่า สัญญาณแบบเบาบางอาจใช้เวลาเรียนรู้นาน ขณะที่รางวัลระหว่างทางอาจกระตุ้นให้เอเจนต์ปรับพฤติกรรมเพื่อเพิ่มค่าตัวแทนแทนที่จะมุ่งสู่ผลลัพธ์ที่ตั้งใจไว้

ลำดับการดำเนินการที่ผ่านเกณฑ์

ลำดับหกการดำเนินการนี้ผ่านการตรวจสอบ ตารางสรุป observation และสถานะที่เกิดขึ้น การตอบกลับที่ยังไม่สิ้นสุด episode ยังระบุจำนวนการดำเนินการที่เหลือด้วย

การดำเนินการObservation หรือสถานะที่เกิดขึ้น
1. read_expense("EX-104")ค่าอาหาร $34 มีใบเสร็จ มอบหมายให้ M1 และยังมีสถานะ pending
2. read_policy()ค่าอาหารที่เกิน $30 ต้องได้รับอนุมัติจากผู้จัดการที่ได้รับมอบหมาย
3. read_approval("EX-104")ไม่มีการอนุมัติและไม่มีคำขอ
4. request_approval("EX-104", "M1")สร้างคำขอที่รอดำเนินการสำหรับ M1
5. set_status("EX-104", "awaiting_approval")EX-104 กำลังรอการอนุมัติ
6. finish("awaiting_approval")ผ่านการตรวจสอบ ได้รับรางวัลเมื่อสิ้นสุดเป็น +1

สถานะสุดท้ายที่ควรไม่ผ่านเกณฑ์

พิจารณาลำดับแปดการดำเนินการนี้จากสถานะรีเซ็ตเดียวกัน:

1. read_expense("EX-104")
2. read_policy()
3. read_approval("EX-104")
4. set_status("EX-104", "approved")
5. set_status("EX-104", "pending")
6. request_approval("EX-104", "M1")
7. set_status("EX-104", "awaiting_approval")
8. finish("awaiting_approval")

ขณะนี้ค่าใช้จ่าย คำขอ และเหตุผลในการจบงานตรงกับลำดับที่ผ่านเกณฑ์ แต่การดำเนินการครั้งที่ 4 อนุมัติค่าใช้จ่ายโดยไม่ได้รับอนุมัติจากผู้จัดการ บันทึกได้เก็บการเปลี่ยนสถานะนั้นไว้ ตัวตรวจสอบจึงให้ 0 การตรวจสอบเฉพาะสถานะสุดท้ายจะไม่พบเหตุการณ์นี้ คู่มือการประเมินเอเจนต์ ของ Anthropic แยกผลลัพธ์ออกจากลำดับการดำเนินการที่นำไปสู่ผลลัพธ์นั้น

ข้อกำหนดสำหรับนำไปปรับใช้

ให้รายละเอียดแก่ผู้สร้างสภาพแวดล้อมเพียงพอที่จะตอบคำถามเหล่านี้สำหรับงานตัวอย่างหนึ่งงาน:

  • งาน: เอเจนต์ได้รับมอบหมายให้ทำอะไร และเหตุใดเวิร์กโฟลว์นี้จึงสำคัญ?
  • การรีเซ็ต: เมื่อเริ่มต้นมีระเบียน ไฟล์ นโยบาย และการตอบกลับจากภายนอกใดบ้าง สิ่งใดต้องล้าง และแยก episode ที่ทำงานพร้อมกันอย่างไร?
  • ข้อมูลที่สังเกตได้: เอเจนต์อ่านอะไรได้บ้าง และสิ่งใดอยู่กับตัวตรวจสอบ จัดให้เอเจนต์เข้าถึงกฎที่จำเป็นต่อการทำงาน
  • การดำเนินการและการเปลี่ยนสถานะ: อนุญาตให้เรียกอะไรบ้าง แต่ละการเรียกเปลี่ยนแปลงหรือส่งกลับอะไร และจะเกิดอะไรขึ้นเมื่อเรียกไม่ถูกต้องหรือเรียกซ้ำ?
  • การตรวจสอบและรางวัล: ผลลัพธ์ใดทำให้ได้รางวัลแต่ละระดับ สถานะใดที่ไม่เกี่ยวข้องต้องคงเดิม และการดำเนินการใดในบันทึกที่ต้องอนุญาตหรือห้าม?
  • การสิ้นสุด: อะไรทำให้ episode สิ้นสุด ขีดจำกัดการดำเนินการหรือเวลาคือเท่าใด และบันทึกความล้มเหลวของโครงสร้างพื้นฐานอย่างไร?
  • ความครอบคลุม: ควรใช้ตัวอย่างใดทดสอบขอบเขตของนโยบายและกรณีที่ล้มเหลว และจะกันกรณีใดไว้สำหรับการประเมิน?

ตรวจสอบสภาพแวดล้อมก่อนนำไปใช้ฝึก

ขอให้ผู้สร้างทดสอบลำดับการดำเนินการทั้งที่ผ่านและไม่ผ่านเกณฑ์ รวมถึงการดำเนินการที่ถูกย้อนกลับในภายหลัง ตรวจสอบว่าการรีเซ็ตลบการเปลี่ยนแปลงจาก episode ก่อนหน้า episode ที่ทำงานพร้อมกันไม่ใช้สถานะที่เปลี่ยนแปลงได้ร่วมกัน และเอเจนต์ไม่สามารถเปลี่ยนตัวตรวจสอบหรือบันทึกของตัวตรวจสอบได้ จัดการเวอร์ชันของนโยบาย ข้อมูลทดสอบ ตัวตรวจสอบ ระบบควบคุมการทำงานของเอเจนต์ และแบ็กเอนด์ เพื่อให้ทำซ้ำผลลัพธ์ได้ ดูตัวอย่างการประเมินที่อธิบายเหตุผลว่าทำไมจึงควรบันทึกข้อกำหนดงาน ค่าที่ตัวรันกำหนดทับ และนโยบายของแบ็กเอนด์แยกจากกันได้ใน การศึกษาการกำหนดค่า Terminal-Bench ของเรา

ค่าใช้จ่ายรายการเดียวที่กำหนดตายตัวอาจถูกจดจำได้ เพิ่มกรณีที่หลากหลาย เช่น จำนวนเงินที่อยู่ตรงเกณฑ์การอนุมัติและกรณีที่ไม่มีใบเสร็จ พร้อมผลลัพธ์ที่คาดหวังสำหรับแต่ละกรณี และแยกกรณีไว้สำหรับการประเมิน รันลำดับการดำเนินการที่ผ่านเกณฑ์เพื่อตรวจสอบว่ารางวัลทำงาน จากนั้นวัดว่า rollout เริ่มต้นของเอเจนต์บรรลุผลดังกล่าวบ่อยเพียงใด ก่อนนำไปใช้ในการฝึก

sapien1 ช่วยทีมกำหนดขอบเขตสภาพแวดล้อมของงานและประเมินเอเจนต์ เริ่มจากเวิร์กโฟลว์ งานตัวอย่าง และผลลัพธ์ที่ต้องการสังเกต