# วิธีประเมินระบบที่เลือกไม่รับบางกรณีได้

ใช้รายการกรณีทดสอบเดียวกันกับทั้งสองกระบวนการ บันทึกคำทำนายหลักและระดับความมั่นใจของแต่ละกรณี ระบบรับหรือไม่รับกรณีนั้น คำตอบจากวิธีสำรองหากมี และผลสุดท้าย ข้อมูลนี้ช่วยให้ตรวจสอบสามเรื่องก่อนเปรียบเทียบอัตราความถูกต้อง

**ดูว่าระบบรับกี่กรณีและเลือกอย่างไร** ความครอบคลุมคือสัดส่วนกรณีที่ระบบหลักรับ เมื่อทดสอบซ้ำด้วยหกกรณี การเปลี่ยนเกณฑ์ความมั่นใจทำให้จำนวนกรณีที่รับกระโดดจากหนึ่งเป็นห้ากรณี เพราะมีคะแนนเท่ากันสี่กรณี การกำหนดให้รับสามกรณีพอดีสามารถแยกกลุ่มที่มีคะแนนเท่ากันได้ เมื่อเรียงตามคะแนนและใช้ลำดับในไฟล์ตัดสินกรณีที่คะแนนเท่ากัน การสลับลำดับแถวเพียงอย่างเดียวทำให้เกิดข้อผิดพลาดศูนย์หรือสองครั้งในสามกรณีนั้น หากใช้เกณฑ์ ให้รายงานความครอบคลุมที่ได้จริง หากกำหนดจำนวนตายตัว ให้บันทึกกติกาเมื่อคะแนนเท่ากันและรหัสของกรณีที่รับ [เกณฑ์คะแนนใน scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**นับว่าวิธีสำรองตอบถูกกี่กรณีจากที่ได้รับจริง** ในการทดสอบซ้ำอีกชุดที่มี 12 กรณี A และ B รับระบบละหกกรณี โดยมีรหัสกรณีตรงกันสามรหัส A ตอบถูกหกกรณีที่รับ ส่วน B ตอบถูกห้ากรณี ทั้งสองใช้วิธีสำรองเดียวกันซึ่งมีคำตอบตายตัวสำหรับแต่ละกรณี วิธีนี้ตอบถูกสองกรณีที่ A ไม่รับ และห้ากรณีที่ B ไม่รับ เมื่อนับทั้งกระบวนการ B จึงนำด้วยคำตอบถูก 10 ข้อ เทียบกับ 8 ข้อ รายงานอัตราความถูกต้องทั้งในกลุ่มที่รับและในรายการทั้งหมด เก็บรุ่นของวิธีสำรองและผลของกรณีที่ไม่รับไว้กับรายงาน [ประเมินระบบทำนายและวิธีสำรองร่วมกัน](https://proceedings.mlr.press/v119/mozannar20b.html)

**ดูว่าผลที่ขาดหายไปกรณีใดอาจเปลี่ยนว่าระบบใดนำอยู่** ในการทดสอบ 12 กรณี เมื่อซ่อนผลสามกรณีที่ทั้งสองระบบส่งต่อ ไม่ว่าจะเติมผลแบบใด B ยังนำอยู่สองคำตอบ เพราะใช้ผลที่ซ่อนแต่ละรายการร่วมกัน เมื่อซ่อนผลหกกรณีที่ทั้งสองระบบจัดการต่างกัน ส่วนต่างของ B ลบ A อยู่ระหว่าง −4 ถึง +2 ใช้การคำนวณแบบผลร่วมกันเฉพาะเมื่อทั้งสองระบบจะใช้ผลเดียวกันสำหรับกรณีเดียวกันที่ส่งต่อ หากแต่ละกระบวนการมีโอกาสนำ ให้ตามหาผลของกรณีที่ใช้เส้นทางต่างกันก่อน

ระบุจำนวนกรณีทั้งหมด จำนวนที่รับ จำนวนการตัดสินใจที่ถูกต้องในแต่ละเส้นทาง และจำนวนผลที่ขาดหายไปพร้อมกับคะแนน หากข้อมูลไม่ครบ ให้ระบุสมมติฐานที่ใช้คำนวณช่วงที่ยังเป็นไปได้

[ดาวน์โหลดสคริปต์ทดสอบซ้ำและผลที่บันทึกไว้ (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
