ประเมินเอเจนต์ AI จากงานที่ต้องทำจริง
ภาษาของหน้า: ไทย
นำเสนองานที่เป็นตัวแทนและผลลัพธ์ที่ต้องการให้เอเจนต์บรรลุ เราสามารถกำหนดขอบเขตการทดสอบพร้อมรายการตรวจสอบที่ชัดเจน และรายงานรายการที่ผ่าน ไม่ผ่าน และรันที่ไม่ได้ให้คะแนน อธิบายโครงการของคุณให้ sapien1 ทราบ
การประเมินเอเจนต์ AI ทดสอบว่าเอเจนต์ทำงานสำเร็จได้หรือไม่เมื่อเผชิญข้อมูล เครื่องมือ และข้อจำกัดแบบเดียวกับการใช้งานจริง กำหนดผลลัพธ์ที่คาดไว้ ตรวจสอบว่าสิ่งใดเปลี่ยนไป และพิจารณาขั้นตอนที่นำไปสู่ผลลัพธ์นั้น
sapien1 ช่วยทีมกำหนดขอบเขตชุดงาน ประเมินข้อมูลสำหรับการประเมิน และพัฒนาสภาพแวดล้อมสำหรับทดสอบเอเจนต์ เริ่มจากขั้นตอนการทำงานหนึ่งอย่างและการตัดสินใจที่ต้องอาศัยผลการประเมิน
เปลี่ยนขั้นตอนการทำงานให้เป็นงานที่ทดสอบได้
งานหนึ่งต้องมีสถานะเริ่มต้น คำขอ และเกณฑ์ความสำเร็จที่สังเกตได้ ข้อความสุดท้ายของเอเจนต์เป็นหลักฐานส่วนหนึ่ง ไฟล์ที่สร้างขึ้น ระเบียน หรือสถานะของเครื่องมือก็อาจบอกได้ว่างานเสร็จหรือไม่
คู่มือประเมินเอเจนต์ของ Anthropic แยกระหว่างงาน การทดลองแต่ละครั้ง ตัวให้คะแนน บันทึกการทำงาน และผลลัพธ์ในสภาพแวดล้อม การแยกองค์ประกอบเหล่านี้ช่วยระบุว่าความล้มเหลวมาจากเอเจนต์ การทดสอบ หรือสภาพแวดล้อม
ตัวอย่างเช่น สมมติว่าเอเจนต์ฝ่ายบริการลูกค้าได้รับคำขอให้เปลี่ยนที่อยู่จัดส่ง การทดสอบอาจให้ระเบียนคำสั่งซื้อ คำขอของลูกค้า และนโยบายที่ใช้กับกรณีนั้น การตรวจสอบควรสะท้อนงานจริงดังนี้
| ส่วนของงาน | ตัวอย่างการตรวจสอบ |
|---|---|
| ระบุคำสั่งซื้อ | เอเจนต์เลือกคำสั่งซื้อที่ระบุในคำขอ |
| ใช้นโยบาย | การตัดสินใจสอดคล้องกับกฎที่กำหนดและสถานะของคำสั่งซื้อ |
| ดำเนินการเปลี่ยนแปลง | หากอนุญาตให้เปลี่ยน ที่อยู่ที่ขอจะปรากฏในระเบียนคำสั่งซื้อ มิฉะนั้นที่อยู่จะคงเดิม |
| คงรายละเอียดอื่นไว้ | รายการสินค้า จำนวน และระเบียนที่ไม่เกี่ยวข้องไม่เปลี่ยนแปลง |
| อธิบายผลลัพธ์ | คำตอบอธิบายสิ่งที่ทำหรือข้อมูลที่ยังต้องการอย่างถูกต้อง |
นี่เป็นตัวอย่างข้อกำหนดของงาน ให้ใช้นโยบายและขั้นตอนการทำงานของคุณกำหนดสิ่งที่ต้องตรวจสอบ
ตรวจสอบสิทธิ์และสถานะหลังการดำเนินการ
สมมติว่าผู้ใช้อนุญาตให้เอเจนต์เปลี่ยนที่อยู่ของคำสั่งซื้อ A จาก 1 Example Lane เป็น 2 Example Lane ส่วนคำสั่งซื้อ B เดิมอยู่ที่ 3 Example Lane และอยู่นอกขอบเขตคำขอ บันทึกสมมติที่จัดทำไว้ล่วงหน้านี้แสดงสิ่งที่การจำลองตรวจสอบสิทธิ์อาจบันทึกได้
| คำขอที่เอเจนต์ส่งไปยังเครื่องมือ | การตัดสินใจเรื่องสิทธิ์ | ผลที่บันทึกไว้ |
|---|---|---|
| คำสั่งซื้อ A: เปลี่ยนที่อยู่เป็น 2 Example Lane | อนุญาต | ดำเนินการเปลี่ยนที่อยู่แล้ว |
| คำสั่งซื้อ B: เปลี่ยนที่อยู่เป็น 4 Example Lane | ปฏิเสธ | ระงับการเปลี่ยนที่อยู่ |
บันทึกนี้แสดงทั้งคำขอที่ได้รับอนุญาตและคำขอนอกขอบเขต ในตัวอย่างนี้ การตรวจสถานะพบว่าคำสั่งซื้อ A อยู่ที่ 2 Example Lane ส่วนคำสั่งซื้อ B ยังอยู่ที่ 3 Example Lane คำขอที่ถูกปฏิเสธกับการเปลี่ยนแปลงที่เกิดขึ้นเป็นผลคนละอย่าง เก็บการตัดสินใจเรื่องสิทธิ์และสถานะสุดท้ายไว้กับคำตอบของเอเจนต์
คู่มือประเมินเอเจนต์ของ Anthropic แยกบันทึกการทดลองออกจากสถานะที่เกิดขึ้นหลังการทดลอง แนวทางของ AWS ว่าด้วยการให้สิทธิ์ใช้เครื่องมือ อธิบายการตรวจคำขอที่เอเจนต์ส่งไปยังเครื่องมือและการทบทวนคำตัดสินว่าอนุญาตหรือปฏิเสธ บันทึกสมมตินี้แสดงตัวอย่างการตรวจสอบหนึ่งอย่าง และไม่ได้ยืนยันว่าระบบปลอดภัย
สร้างการทดสอบจากกรณีที่ดำเนินการแล้ว
สมมติว่าประวัติการให้บริการอีกชุดหนึ่งเป็นเรื่องสมมติและบันทึกลำดับดังนี้ เวลา 10:00 น. เจ้าของคำสั่งซื้อ A ที่ยืนยันตัวตนแล้วขอเปลี่ยนที่อยู่ของคำสั่งซื้อจาก 1 Example Lane เป็น 2 Example Lane ขณะนั้นอยู่ระหว่างเตรียมส่งสินค้า นโยบายที่มีผลกำหนดให้เปลี่ยนที่อยู่ตามคำขอของเจ้าของที่ยืนยันตัวตนแล้วก่อนส่งสินค้า เวลา 10:05 น. ฝ่ายบริการบันทึกว่าได้เปลี่ยนที่อยู่แล้ว
เพื่อทดสอบการตัดสินใจเวลา 10:00 น. ให้เอเจนต์ได้รับคำขอ สถานะเดิมของคำสั่งซื้อ และนโยบายที่มีผลในขณะนั้น ตั้งเครื่องมือทดสอบให้เริ่มจากสถานะนี้ ให้คำสั่งซื้อคงอยู่ในขั้นเตรียมส่งขณะที่เอเจนต์ทำงาน เปิดให้ผู้ตรวจทานเห็นบันทึกเวลา 10:05 น. แต่ไม่นำบันทึกนั้นไปใส่ในคำสั่งเริ่มต้นหรือระเบียนที่เครื่องมือของเอเจนต์เข้าถึงได้ในการทดสอบ มิฉะนั้นเอเจนต์อาจเห็นผลที่ดำเนินการเสร็จแล้วก่อนจะได้รับคำสั่งให้ทำงาน
นโยบายเวลา 10:00 น. บอกผู้ตรวจทานว่าควรได้ผลลัพธ์ใด คำสั่งซื้อ A ต้องลงท้ายด้วยที่อยู่ 2 Example Lane กำหนดเพิ่มเติมว่าระเบียนที่ไม่เกี่ยวข้องต้องคงเดิม บันทึกเวลา 10:05 น. ระบุผลที่เกิดขึ้น ให้ใช้นโยบายตัดสินว่าการดำเนินการนั้นถูกต้องหรือไม่ หากระบุนโยบายที่ใช้หรือสถานะก่อนดำเนินการไม่ได้ ให้แยกกรณีนั้นไว้ตรวจทาน ก่อนใช้ระเบียนจริง ให้ยืนยันสิทธิ์ใช้งานและจัดการฟิลด์ที่ละเอียดอ่อนอย่างเหมาะสม
คู่มือชุดข้อมูลของ Inspect แยกข้อมูลที่ส่งให้โมเดลออกจากผลลัพธ์อ้างอิงที่ใช้ให้คะแนนได้ และอธิบายว่าไฟล์ตัวอย่างอาจถูกคัดลอกไปยังสภาพแวดล้อมแยก ตรวจดูคำสั่ง เนื้อหาที่ดึงมา การตอบกลับของเครื่องมือ และไฟล์ในสภาพแวดล้อมแยกว่ามีข้อมูลที่มีไว้เฉพาะผู้ตรวจทานหรือไม่ ตรวจสอบเช่นนี้แม้ชุดข้อมูลจะมีผลลัพธ์อ้างอิงสำหรับให้คะแนนแยกไว้แล้ว
เลือกหลักฐานที่เหมาะกับการตัดสินใจ
ใช้การตรวจสอบโดยตรงเมื่อผลลัพธ์สังเกตได้ เช่น ฟิลด์ที่เปลี่ยน ผลการคำนวณ ไฟล์ที่สร้าง หรือการทดสอบที่ผ่าน ใช้เกณฑ์ให้คะแนนที่เขียนไว้อย่างชัดเจนเมื่อจำเป็นต้องให้มนุษย์ตีความ เช่น พิจารณาว่าคำอธิบายชัดเจนหรือคำตอบจากการค้นคว้ามีหลักฐานรองรับข้อสรุปหรือไม่
ตัวประเมินอัตโนมัติอาจช่วยตรวจผลลัพธ์จำนวนมากได้ ก่อนอาศัยคะแนน ให้เทียบการตัดสินของตัวประเมินกับการตรวจทานของมนุษย์ในตัวอย่างที่เป็นตัวแทน เก็บบันทึกความเห็นที่ไม่ตรงกันไว้เพื่อปรับปรุงเกณฑ์หรือตัวประเมิน
บันทึกข้อมูลที่ป้อนให้กับงาน เครื่องมือ การตั้งค่าเอเจนต์ และผลลัพธ์ ทำการทดลองซ้ำเมื่อความแตกต่างระหว่างรอบมีผลต่อการตัดสินใจ ทบทวนทั้งรอบที่ไม่ผ่านและรอบที่สำเร็จอย่างคาดไม่ถึง คะแนนสูงอาจสะท้อนผลงานที่ดีหรือซ่อนจุดอ่อนของการทดสอบ คู่มือของ Anthropic กล่าวถึง ข้อควรคำนึงเกี่ยวกับตัวให้คะแนนและการออกแบบการทดลอง
ตรวจรหัสของแต่ละกรณีก่อนให้คะแนน
เมื่อสร้างกรณีจากระเบียนที่ผ่านมา ให้เก็บรหัสกรณีไว้ทั้งในผลที่คาดไว้และผลการทดสอบ ก่อนให้คะแนนหนึ่งผลต่อกรณี ให้เทียบทั้งสองไฟล์กับรายชื่อรหัสที่ควรมี แต่ละรหัสที่คาดไว้ต้องปรากฏในแต่ละไฟล์พอดีหนึ่งครั้ง แก้ปัญหารหัสหาย รหัสซ้ำ หรือรหัสที่ไม่อยู่ในรายชื่อ เมื่อทำซ้ำ ให้บันทึกรหัสการทดลองด้วย
สมมติว่าคาดว่าจะมีกรณี A และ B ทั้งสองไฟล์มี A และแถวที่ไม่มีรหัสหนึ่งแถว ผลที่คาดไว้กับผลการทดสอบของ A ไม่ตรงกัน ส่วนสองแถวที่ไม่มีรหัสมีป้ายกำกับเดียวกัน การเชื่อมข้อมูลใน pandas อาจจับคู่คีย์ที่หายไปเข้าด้วยกันแม้การตรวจความสัมพันธ์แบบหนึ่งต่อหนึ่งจะผ่าน เมื่อนับแถวที่เชื่อมแล้วจะดูเหมือนว่าตรงกันหนึ่งจากสองคู่ มีเพียง A ที่ตรงกับรหัสที่คาดไว้ ในชุดย่อยที่ระบุตัวตนได้มีหนึ่งกรณีที่ไม่ตรงกันเลย และครอบคลุมหนึ่งจากสองกรณีที่คาดไว้ เมื่อรหัสหายจึงไม่ทราบว่าแถวใดแถวหนึ่งเป็นของ B หรือไม่ คะแนนสำหรับสองกรณีที่คาดไว้จึงยังสรุปไม่ได้ หากตั้งใจให้คะแนนเฉพาะชุดย่อย ให้รายงานความครอบคลุมพร้อมคะแนน
ตีความการทดลองซ้ำให้สอดคล้องกับการตัดสินใจ
สมมติว่าทีมทดสอบสองงาน งานละสามครั้ง และคืนสถานะเริ่มต้นของงานก่อนทดลองแต่ละครั้ง การตรวจสอบได้ผลสมมติดังนี้
| งาน | การทดลองครั้งแรก | การทดลองครั้งที่สอง | การทดลองครั้งที่สาม |
|---|---|---|---|
| A | ผ่าน | ไม่ผ่าน | ผ่าน |
| B | ผ่าน | ผ่าน | ไม่ผ่าน |
การทดลองผ่านสี่จากหกครั้ง ทั้งสองงานผ่าน อย่างน้อยหนึ่งครั้ง แต่ไม่มีงานใดผ่าน ทั้งสามครั้ง สรุปทั้งสองแบบตอบคำถามต่างกัน ผลที่ถูกต้องเป็นบางครั้งอาจมีประโยชน์หากระบบตรวจสอบและเลือกจากผลลัพธ์หลายตัวเลือกได้อย่างน่าเชื่อถือ ความสำเร็จซ้ำมีความสำคัญเมื่อการทดลองแต่ละครั้งต้องทำงานได้ด้วยตัวเอง การผ่านหนึ่งครั้งไม่ได้ทำให้ครั้งอื่นปลอดภัยหรือถูกต้อง
สมมติว่าการทดลองครั้งที่เจ็ดหยุดก่อนให้คะแนน เพราะยืนยันแล้วว่าสภาพแวดล้อมแยกหยุดทำงานจากปัจจัยภายนอก การทดลองที่ให้คะแนนผ่านสี่จากหกครั้ง จากการทดลองทั้งหมดเจ็ดครั้ง มีสี่ครั้งที่ยืนยันว่าผ่าน ครั้งที่ไม่ได้ให้คะแนนไม่ใช่ทั้งความสำเร็จที่ยืนยันแล้วและความล้มเหลวของเอเจนต์ที่ยืนยันแล้ว สัดส่วนแรกสรุปการทดลองที่ให้คะแนน ส่วนสัดส่วนที่สองแสดงความสำเร็จที่ยืนยันแล้วจากการทดลองทั้งหมด การให้น้ำหนักงานหรือการตั้งค่าตัวชี้วัดที่ต่างกันอาจทำให้ผลที่รายงานเปลี่ยนไป
ตัวเลขเหล่านี้อธิบายเฉพาะการตรวจสอบสมมติข้างต้น และไม่ได้กำหนดอัตราความสำเร็จในการใช้งานจริง บันทึกจำนวนงาน จำนวนครั้งต่องาน สิ่งที่ตรวจสอบ และการทดลองที่ใช้ไม่ได้เนื่องจากปัญหาโครงสร้างพื้นฐาน เช่น สภาพแวดล้อมแยกหยุดทำงาน แยกรายงานการทดลองที่ใช้ไม่ได้ออกจากความล้มเหลวของเอเจนต์ และระบุว่าสรุปแต่ละแบบรวมครั้งใดบ้าง การทำงานเดิมซ้ำช่วยให้เห็นความแปรผันในงานนั้น และควรทดสอบสถานการณ์ให้หลากหลายขึ้นด้วย คู่มือประเมินเอเจนต์ของ Anthropic อธิบายว่าตัววัดความสำเร็จอย่างน้อยครั้งเดียวและตัววัดความสำเร็จอย่างสม่ำเสมอใช้กับการตัดสินใจที่ต่างกันอย่างไร
ความครอบคลุมของงานอาจเปลี่ยนไปก่อนให้คะแนน ใน การวิเคราะห์ความครอบคลุมของผลงานอ้างอิง GDPval ของเรา ข้อมูลงานสาธารณะ 185 จาก 220 แถวระบุเส้นทางอย่างน้อยหนึ่งเส้นทางไปยังชิ้นงานที่ผู้เชี่ยวชาญจัดทำ สัดส่วนภาคธุรกิจของแถวเหล่านี้ต่างจากตารางเต็ม การมีเส้นทางในรายการไม่ยืนยันว่าเข้าถึงไฟล์หรือแสดงผลไฟล์ได้
ใช้สภาพแวดล้อมทดสอบเมื่อการดำเนินการเปลี่ยนสถานะ
หากเอเจนต์แก้ระเบียน ใช้ซอฟต์แวร์ หรือทำงานผ่านเครื่องมือหลายตัว ก็ต้องมีพื้นที่สำหรับดำเนินการ สภาพแวดล้อมที่สร้างซ้ำได้ ช่วยให้คืนสถานะเริ่มต้นและตรวจผลหลังการทำงานได้
OpenEnv เป็นเฟรมเวิร์กแบบเปิดสำหรับสภาพแวดล้อมแยกของเอเจนต์ ควรเลือกเฟรมเวิร์กหลังจากกำหนดงาน สิ่งที่เอเจนต์มองเห็นและทำได้ และวิธีตรวจความสำเร็จแล้ว
ดู การตั้งค่าทรัพยากรของงาน Terminal-Bench จำนวน 66 งาน เพื่อเป็นตัวอย่างว่าทรัพยากรที่ระบุแตกต่างกันไปตามงานอย่างไร
แนวทางสำหรับการประเมินครั้งแรก
อธิบายขั้นตอนการทำงาน งานตัวแทนหนึ่งงาน และลักษณะของผลลัพธ์ที่ถือว่าสำเร็จ ระบุเครื่องมือที่เอเจนต์ใช้ ข้อมูลที่ได้รับ และความล้มเหลวที่จะเปลี่ยนการตัดสินใจว่าจะเปิดใช้งานหรือไม่ หากมีตัวอย่างแล้ว ให้ระบุแหล่งที่มาและขอบเขตที่ครอบคลุม
เมื่อกำหนดขอบเขตโครงการแล้ว ให้ระบุชุดงาน ข้อกำหนดของสภาพแวดล้อม วิธีให้คะแนน และการทบทวนผล หากสิ่งที่ขาดคือตัวอย่าง ให้เริ่มจาก การจัดหาข้อมูล