# สิ่งที่ควรตรวจสอบก่อนเปรียบเทียบคะแนน macro-F1

macro-F1 ให้น้ำหนักเท่ากันกับคะแนนของทุกคลาสที่นำมาเฉลี่ย ก่อนใช้คะแนนนี้เลือกโมเดลจำแนกประเภท ให้บันทึกรหัสกรณี เวอร์ชันของป้ายกำกับ และการตั้งค่าการคิดคะแนน การทดสอบสามตัวอย่างด้วยข้อมูลสมมติใน scikit-learn 1.7.2 แสดงว่าผลทำนายชุดเดิมอาจให้อันดับต่างกันได้ [นิยามและตัวเลือกของ F1 ใน scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**เปรียบเทียบคะแนนโดยใช้ป้ายกำกับที่ละเอียดเท่ากัน** ในกรณีบริการลูกค้าเก้ากรณีที่ใช้ป้ายคืนเงิน ใบแจ้งหนี้ และการเข้าสู่ระบบ B นำด้วย 0.778 เทียบกับ 0.556 เมื่อรวมป้ายคืนเงินกับใบแจ้งหนี้เป็นหมวดการเรียกเก็บเงิน ผลทำนายที่ผิดของ A สี่รายการกลายเป็นผลที่ถูกในหมวดนี้ ส่วนข้อผิดพลาดสองรายการของ B ยังเป็นการทำนายข้ามหมวด หลังจากนั้น A นำด้วย 1.000 เทียบกับ 0.750 หากต้องเปรียบเทียบคะแนนจากป้ายกำกับคนละเวอร์ชัน ให้บันทึกว่าป้ายใดตรงกันและคำนวณคะแนนของทั้งสองระบบใหม่ด้วยความละเอียดระดับเดียวกัน เก็บป้ายกำกับเดิมและผลทำนายเดิมไว้หากงานยังต้องแยกป้ายเหล่านั้น

**ตรวจสอบว่าค่าเฉลี่ยแต่ละค่ารวมคลาสใดบ้าง** ในอีกกลุ่มหนึ่งไม่มีกรณีฉ้อโกงในป้ายกำกับอ้างอิง A ทำนายว่าเป็นการฉ้อโกงหนึ่งครั้ง จึงคำนวณ F1 สำหรับคลาสนั้นได้เท่ากับศูนย์ ส่วน B ไม่มีการฉ้อโกงทั้งในป้ายกำกับอ้างอิงและในผลทำนาย เมื่อกำหนดคลาสจากข้อมูล B ได้ 0.667 จากสองคลาส และ A ได้ 0.600 จากสามคลาส เมื่อระบุรายการสามคลาสไว้ล่วงหน้าและให้ F1 ที่คำนวณไม่ได้มีค่าเป็นศูนย์ คะแนน B ลดลงเหลือ 0.444 เมื่อใช้รายการเดิมแต่ไม่นำ F1 ที่คำนวณไม่ได้มาเฉลี่ย คะแนน B กลับเป็น 0.667 ให้บันทึกรายการคลาสที่ตั้งใจใช้ กติกาสำหรับคะแนนที่คำนวณไม่ได้ จำนวนป้ายกำกับอ้างอิงและผลทำนายในแต่ละคลาส และจำนวนคลาสที่นำมาเฉลี่ยจริง

**ระบุว่ารวมกรณีทั้งหมดหรือเฉลี่ยคะแนนของแต่ละกลุ่ม** ในกลุ่มสมดุลสองกลุ่มที่มีกรณีกลุ่มละแปดรายการ ค่าเฉลี่ยของคะแนน macro-F1 ทั้งสองกลุ่มทำให้ A นำด้วย 0.600 เทียบกับ 0.564 แต่เมื่อคิดคะแนนจากผลทำนายทั้ง 16 รายการพร้อมกัน B นำด้วย 0.625 เทียบกับ 0.600 เมื่อกลุ่มมีขนาดเท่ากัน การให้น้ำหนักเท่ากันกับการให้น้ำหนักตามจำนวนกรณีจะได้ค่าเฉลี่ยเท่ากัน คะแนนรวมของคลาสใช้ผลรวมของผลบวกจริง ผลบวกลวง และผลลบลวง หากรายงานคะแนนรวม ให้บวกจำนวนเหล่านี้ก่อนคำนวณ F1 ของแต่ละคลาส หากรายงานแยกตามกลุ่ม ให้แสดงคะแนนและน้ำหนักของแต่ละกลุ่ม

บันทึกเวอร์ชันของตารางเทียบป้ายกำกับและจำนวนในเมทริกซ์ความสับสนของแต่ละคลาสไว้พร้อมคะแนน หากแต่ละรายงานใช้การตั้งค่าต่างกัน ให้คำนวณคะแนนของทั้งสองระบบใหม่โดยใช้กรณีชุดเดียวกัน ความละเอียดของป้ายกำกับเท่ากัน กติกาสำหรับคะแนนที่คำนวณไม่ได้เหมือนกัน และวิธีรวมผลแบบเดียวกันก่อนตีความอันดับ

[ดาวน์โหลดสคริปต์และผลที่บันทึกไว้ (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
