ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

วิธีตรวจ AUROC จากการตรวจสอบไขว้ก่อนเลือกโมเดล

ภาษาของบทความ: ไทย

เริ่มจากการเปรียบเทียบที่ต้องการ ครบทุกส่วนทดสอบที่จำเป็นหรือไม่ ควรให้แต่ละส่วนมีน้ำหนักเท่ากันหรือให้แต่ละคู่ที่เปรียบเทียบได้มีน้ำหนักเท่ากัน หากคะแนนมาจากโมเดลที่ฝึกแยกกัน ให้พิจารณาว่าการประเมินรองรับการเปรียบเทียบข้ามส่วนหรือไม่

ตรวจว่าทุกส่วนที่จำเป็นมีคะแนน

สำหรับ AUROC แบบสองคลาส ให้นับกรณีบวกและลบในแต่ละส่วนทดสอบ เก็บรหัสข้อมูลตรวจสอบที่คิดคะแนน คะแนนของแต่ละตัวเลือกในแต่ละส่วน และคำเตือนจากการรัน

ในการค้นหาแบบกริดสมมติที่มีสิบกรณี สองส่วนมีทั้งสองคลาส ส่วนที่สามมีแต่กรณีลบ scikit-learn 1.7.2 เตือนและคืน NaN ให้ทั้งสองตัวเลือกในส่วนที่สาม ค่าเฉลี่ยทั้งคู่เป็น NaN และทั้งสองตัวเลือกได้อันดับ 1 การค้นหาฝึกตัวเลือกแรกในรายการใหม่แม้ตั้ง error_score="raise" เมื่อกลับลำดับ ตัวเลือกที่ได้ก็เปลี่ยน

ในการตรวจสอบแยกที่ใช้เฉพาะสองส่วนที่มีคะแนนนิยามไว้ ค่าเฉลี่ยคือ 1.00 สำหรับ A และ 0.375 สำหรับ B เลือก A ทั้งสองลำดับ หากรายงานผลนี้ ให้ระบุว่าขอบเขตการตรวจสอบแคบลง แก้ปัญหาความครอบคลุมในส่วนที่จำเป็นแต่แรกก่อนใช้การค้นหาเลือกผู้ชนะ

ตรวจวิธีให้น้ำหนักคะแนนแต่ละส่วน

สำหรับ AUROC แบบสองคลาสที่ไม่มีน้ำหนัก ส่วนทดสอบที่มี p กรณีบวกและ n กรณีลบจะเปรียบเทียบคู่บวกกับลบได้ p × n คู่ AUROC ภายในส่วนบอกว่ากรณีบวกได้คะแนนสูงกว่าบ่อยเพียงใด โดยให้ครึ่งคะแนนเมื่อเสมอ การเฉลี่ยตามส่วนให้น้ำหนักแต่ละส่วนเท่ากัน การให้น้ำหนักตามคู่ภายในส่วนให้น้ำหนักแต่ละคู่ที่ใช้ได้เท่ากัน

ในอีกตัวอย่างสมมติ ทั้งสองส่วนมีหกแถว ส่วน 1 มีกรณีบวกหนึ่งกรณีและลบห้ากรณี จึงได้ห้าคู่ ส่วน 2 มีอย่างละสามกรณี จึงได้เก้าคู่ A ได้ 5/5 และ 4/9 ส่วน B ได้ 2/5 และ 8/9

วิธีคำนวณABคะแนนสูงกว่า
ให้น้ำหนักแต่ละส่วนเท่ากัน13/1829/45A
ให้น้ำหนักแต่ละคู่ภายในส่วนเท่ากัน9/1410/14B

ในการเปรียบเทียบนี้ คะแนนเสมอกันเมื่อส่วน 1 มีน้ำหนัก 20/47 เมื่อให้น้ำหนักแต่ละส่วนเท่ากัน ส่วน 1 ได้น้ำหนักมากกว่านั้น การให้น้ำหนักตามคู่ทำให้ส่วนนี้ได้ 5/14 และ B ขึ้นนำ ทั้งสองวิธีนับการเปรียบเทียบภายในส่วน

ตรวจสมมติฐานก่อนรวมคะแนน

การรวมผลทำนายก่อนคำนวณจะเปรียบเทียบกรณีบวกและลบจากต่างส่วนด้วย ในตัวอย่างที่สาม A ได้ 3/4 ในแต่ละส่วน ส่วน B ได้ 2/4 ในแต่ละส่วน คะแนนรวมเดิมคือ 13/16 สำหรับ A และ 11/16 สำหรับ B การบวกค่าคงที่ให้คะแนนของ A ในส่วนที่สองคงลำดับภายในทั้งสองส่วนไว้ แต่ลดคะแนนรวมของ A เหลือ 10/16 ส่วน B ยังอยู่ที่ 11/16 ผลการเปรียบเทียบจึงกลับกัน

หากคำถามเกี่ยวกับอันดับภายในแต่ละส่วนที่กันไว้ทดสอบ ให้รายงานคะแนนรายส่วนและน้ำหนักที่เลือก หากรวมผลทำนาย ให้บันทึกเหตุผลที่เปรียบเทียบสเกลคะแนนจากโมเดลที่ฝึกแยกกันได้ เก็บการแบ่งส่วน จำนวนแต่ละคลาส คอลัมน์คะแนน กติกาการรวมผล และผลการเลือกไว้ด้วยกันเพื่อให้ผู้อื่นทำซ้ำได้

ทั้งสามตัวอย่างใช้คะแนนสมมติ ผลทำนายจากการตรวจสอบไขว้ใน scikit-learn · งานวิจัยเรื่องการรวมผลการตรวจสอบไขว้