# วิธีตรวจ AUROC จากการตรวจสอบไขว้ก่อนเลือกโมเดล

เริ่มจากการเปรียบเทียบที่ต้องการ ครบทุกส่วนทดสอบที่จำเป็นหรือไม่ ควรให้แต่ละส่วนมีน้ำหนักเท่ากันหรือให้แต่ละคู่ที่เปรียบเทียบได้มีน้ำหนักเท่ากัน หากคะแนนมาจากโมเดลที่ฝึกแยกกัน ให้พิจารณาว่าการประเมินรองรับการเปรียบเทียบข้ามส่วนหรือไม่

## ตรวจว่าทุกส่วนที่จำเป็นมีคะแนน

สำหรับ AUROC แบบสองคลาส ให้นับกรณีบวกและลบในแต่ละส่วนทดสอบ เก็บรหัสข้อมูลตรวจสอบที่คิดคะแนน คะแนนของแต่ละตัวเลือกในแต่ละส่วน และคำเตือนจากการรัน

ในการค้นหาแบบกริดสมมติที่มีสิบกรณี สองส่วนมีทั้งสองคลาส ส่วนที่สามมีแต่กรณีลบ scikit-learn 1.7.2 เตือนและคืน NaN ให้ทั้งสองตัวเลือกในส่วนที่สาม ค่าเฉลี่ยทั้งคู่เป็น NaN และทั้งสองตัวเลือกได้อันดับ 1 การค้นหาฝึกตัวเลือกแรกในรายการใหม่แม้ตั้ง `error_score="raise"` เมื่อกลับลำดับ ตัวเลือกที่ได้ก็เปลี่ยน

ในการตรวจสอบแยกที่ใช้เฉพาะสองส่วนที่มีคะแนนนิยามไว้ ค่าเฉลี่ยคือ 1.00 สำหรับ A และ 0.375 สำหรับ B เลือก A ทั้งสองลำดับ หากรายงานผลนี้ ให้ระบุว่าขอบเขตการตรวจสอบแคบลง แก้ปัญหาความครอบคลุมในส่วนที่จำเป็นแต่แรกก่อนใช้การค้นหาเลือกผู้ชนะ

## ตรวจวิธีให้น้ำหนักคะแนนแต่ละส่วน

สำหรับ AUROC แบบสองคลาสที่ไม่มีน้ำหนัก ส่วนทดสอบที่มี p กรณีบวกและ n กรณีลบจะเปรียบเทียบคู่บวกกับลบได้ p × n คู่ AUROC ภายในส่วนบอกว่ากรณีบวกได้คะแนนสูงกว่าบ่อยเพียงใด โดยให้ครึ่งคะแนนเมื่อเสมอ การเฉลี่ยตามส่วนให้น้ำหนักแต่ละส่วนเท่ากัน การให้น้ำหนักตามคู่ภายในส่วนให้น้ำหนักแต่ละคู่ที่ใช้ได้เท่ากัน

ในอีกตัวอย่างสมมติ ทั้งสองส่วนมีหกแถว ส่วน 1 มีกรณีบวกหนึ่งกรณีและลบห้ากรณี จึงได้ห้าคู่ ส่วน 2 มีอย่างละสามกรณี จึงได้เก้าคู่ A ได้ 5/5 และ 4/9 ส่วน B ได้ 2/5 และ 8/9

| วิธีคำนวณ | A | B | คะแนนสูงกว่า |
| --- | --- | --- | --- |
| ให้น้ำหนักแต่ละส่วนเท่ากัน | 13/18 | 29/45 | A |
| ให้น้ำหนักแต่ละคู่ภายในส่วนเท่ากัน | 9/14 | 10/14 | B |

ในการเปรียบเทียบนี้ คะแนนเสมอกันเมื่อส่วน 1 มีน้ำหนัก 20/47 เมื่อให้น้ำหนักแต่ละส่วนเท่ากัน ส่วน 1 ได้น้ำหนักมากกว่านั้น การให้น้ำหนักตามคู่ทำให้ส่วนนี้ได้ 5/14 และ B ขึ้นนำ ทั้งสองวิธีนับการเปรียบเทียบภายในส่วน

## ตรวจสมมติฐานก่อนรวมคะแนน

การรวมผลทำนายก่อนคำนวณจะเปรียบเทียบกรณีบวกและลบจากต่างส่วนด้วย ในตัวอย่างที่สาม A ได้ 3/4 ในแต่ละส่วน ส่วน B ได้ 2/4 ในแต่ละส่วน คะแนนรวมเดิมคือ 13/16 สำหรับ A และ 11/16 สำหรับ B การบวกค่าคงที่ให้คะแนนของ A ในส่วนที่สองคงลำดับภายในทั้งสองส่วนไว้ แต่ลดคะแนนรวมของ A เหลือ 10/16 ส่วน B ยังอยู่ที่ 11/16 ผลการเปรียบเทียบจึงกลับกัน

หากคำถามเกี่ยวกับอันดับภายในแต่ละส่วนที่กันไว้ทดสอบ ให้รายงานคะแนนรายส่วนและน้ำหนักที่เลือก หากรวมผลทำนาย ให้บันทึกเหตุผลที่เปรียบเทียบสเกลคะแนนจากโมเดลที่ฝึกแยกกันได้ เก็บการแบ่งส่วน จำนวนแต่ละคลาส คอลัมน์คะแนน กติกาการรวมผล และผลการเลือกไว้ด้วยกันเพื่อให้ผู้อื่นทำซ้ำได้

ทั้งสามตัวอย่างใช้คะแนนสมมติ [ผลทำนายจากการตรวจสอบไขว้ใน scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.model_selection.cross_val_predict.html) · [งานวิจัยเรื่องการรวมผลการตรวจสอบไขว้](https://kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf)

[ดาวน์โหลดสคริปต์และผลที่บันทึกไว้ (ZIP)](https://sapien1.com/research/audit-cross-validation-auroc-evidence/cross-validation-auroc-replay.zip)
