ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีประเมินระบบที่เลือกไม่รับบางกรณีได้

ภาษาของบทความ: ไทย

ใช้รายการกรณีทดสอบเดียวกันกับทั้งสองกระบวนการ บันทึกคำทำนายหลักและระดับความมั่นใจของแต่ละกรณี ระบบรับหรือไม่รับกรณีนั้น คำตอบจากวิธีสำรองหากมี และผลสุดท้าย ข้อมูลนี้ช่วยให้ตรวจสอบสามเรื่องก่อนเปรียบเทียบอัตราความถูกต้อง

ดูว่าระบบรับกี่กรณีและเลือกอย่างไร ความครอบคลุมคือสัดส่วนกรณีที่ระบบหลักรับ เมื่อทดสอบซ้ำด้วยหกกรณี การเปลี่ยนเกณฑ์ความมั่นใจทำให้จำนวนกรณีที่รับกระโดดจากหนึ่งเป็นห้ากรณี เพราะมีคะแนนเท่ากันสี่กรณี การกำหนดให้รับสามกรณีพอดีสามารถแยกกลุ่มที่มีคะแนนเท่ากันได้ เมื่อเรียงตามคะแนนและใช้ลำดับในไฟล์ตัดสินกรณีที่คะแนนเท่ากัน การสลับลำดับแถวเพียงอย่างเดียวทำให้เกิดข้อผิดพลาดศูนย์หรือสองครั้งในสามกรณีนั้น หากใช้เกณฑ์ ให้รายงานความครอบคลุมที่ได้จริง หากกำหนดจำนวนตายตัว ให้บันทึกกติกาเมื่อคะแนนเท่ากันและรหัสของกรณีที่รับ เกณฑ์คะแนนใน scikit-learn

นับว่าวิธีสำรองตอบถูกกี่กรณีจากที่ได้รับจริง ในการทดสอบซ้ำอีกชุดที่มี 12 กรณี A และ B รับระบบละหกกรณี โดยมีรหัสกรณีตรงกันสามรหัส A ตอบถูกหกกรณีที่รับ ส่วน B ตอบถูกห้ากรณี ทั้งสองใช้วิธีสำรองเดียวกันซึ่งมีคำตอบตายตัวสำหรับแต่ละกรณี วิธีนี้ตอบถูกสองกรณีที่ A ไม่รับ และห้ากรณีที่ B ไม่รับ เมื่อนับทั้งกระบวนการ B จึงนำด้วยคำตอบถูก 10 ข้อ เทียบกับ 8 ข้อ รายงานอัตราความถูกต้องทั้งในกลุ่มที่รับและในรายการทั้งหมด เก็บรุ่นของวิธีสำรองและผลของกรณีที่ไม่รับไว้กับรายงาน ประเมินระบบทำนายและวิธีสำรองร่วมกัน

ดูว่าผลที่ขาดหายไปกรณีใดอาจเปลี่ยนว่าระบบใดนำอยู่ ในการทดสอบ 12 กรณี เมื่อซ่อนผลสามกรณีที่ทั้งสองระบบส่งต่อ ไม่ว่าจะเติมผลแบบใด B ยังนำอยู่สองคำตอบ เพราะใช้ผลที่ซ่อนแต่ละรายการร่วมกัน เมื่อซ่อนผลหกกรณีที่ทั้งสองระบบจัดการต่างกัน ส่วนต่างของ B ลบ A อยู่ระหว่าง −4 ถึง +2 ใช้การคำนวณแบบผลร่วมกันเฉพาะเมื่อทั้งสองระบบจะใช้ผลเดียวกันสำหรับกรณีเดียวกันที่ส่งต่อ หากแต่ละกระบวนการมีโอกาสนำ ให้ตามหาผลของกรณีที่ใช้เส้นทางต่างกันก่อน

ระบุจำนวนกรณีทั้งหมด จำนวนที่รับ จำนวนการตัดสินใจที่ถูกต้องในแต่ละเส้นทาง และจำนวนผลที่ขาดหายไปพร้อมกับคะแนน หากข้อมูลไม่ครบ ให้ระบุสมมติฐานที่ใช้คำนวณช่วงที่ยังเป็นไปได้