מחקר
מה לבדוק לפני שמשווים ציוני macro-F1
בשיטת macro-F1, לכל ציון של מחלקה שנכללת בממוצע יש משקל שווה. לפני שמשתמשים בציון לבחירת מודל סיווג, רשמו את מזהי המקרים, את גרסת התוויות ואת הגדרות החישוב. שלושה ניסויים עם נתונים בדויים ב-scikit-learn 1.7.2 מראים איך אותן תחזיות יכולות להוביל לדירוגים שונים. הגדרת F1 והאפשרויות ב-scikit-learn
השוו ציונים באותה רמת פירוט של התוויות. בתשעה מקרי תמיכה עם התוויות החזר כספי, חשבונית וכניסה לחשבון, B הוביל עם 0.778 לעומת 0.556. כשאיחדו החזר כספי וחשבונית לקטגוריה חיוב, ארבע טעויות של A הפכו לתחזיות נכונות בקטגוריה הזאת. שתי הטעויות של B עדיין היו בין קטגוריות שונות. אחר כך A הוביל עם 1.000 לעומת 0.750. אם אתם משווים ציונים בין גרסאות של תוויות, שמרו את מפת ההתאמה וחשבו מחדש את ציוני שני המודלים באותה רמת פירוט. אם ההבחנה עדיין חשובה למשימה, שמרו גם את התוויות והתחזיות המקוריות.
בדקו אילו מחלקות נכללות בכל ממוצע. בקבוצה נפרדת שבה תוויות הייחוס לא כללו מקרי הונאה, A חזה הונאה פעם אחת וקיבל למחלקה הזאת ציון F1 מוגדר של אפס. אצל B לא היו תוויות ייחוס או תחזיות של הונאה. כשהמחלקות נגזרו מהנתונים, B קיבל 0.667 על פני שתי מחלקות ו-A קיבל 0.600 על פני שלוש. עם רשימה מפורשת של שלוש מחלקות ואפס במקום ערכי F1 לא מוגדרים, B ירד ל-0.444. עם אותה רשימה, כשהערכים הלא מוגדרים לא נכללו בממוצע, B חזר ל-0.667. רשמו את רשימת המחלקות הרצויה, את הכלל לציונים לא מוגדרים, את מספר תוויות הייחוס והתחזיות בכל מחלקה ואת מספר המחלקות שנכללו בפועל בממוצע.
ציינו אם איחדתם את המקרים או חישבתם ממוצע של ציוני הקבוצות. בשתי קבוצות מאוזנות של שמונה מקרים כל אחת, ממוצע ציוני ה-macro-F1 של הקבוצות נתן ל-A את ההובלה, עם 0.600 לעומת 0.564. כשחישבו ציון אחד לכל 16 התחזיות יחד, B הוביל עם 0.625 לעומת 0.600. כשהקבוצות באותו גודל, הממוצע זהה בין אם נותנים לקבוצות משקל שווה ובין אם משקללים לפי מספר המקרים. הציון של כל מחלקה בחישוב המאוחד מבוסס על סכום התוצאות החיוביות הנכונות, החיוביות השגויות והשליליות השגויות. בדוח מאוחד, חברו קודם את הספירות ואז חשבו F1 לכל מחלקה. בדוח לפי קבוצות הציגו את הציון ואת המשקל של כל קבוצה.
שמרו עם הציון את גרסת מפת התוויות ואת הספירות ממטריצת הבלבול לכל מחלקה. אם הגדרות הדוחות שונות, חשבו מחדש את ציוני שני המודלים עם אותם מקרים, אותה רמת פירוט, אותו כלל לציונים לא מוגדרים ואותה שיטת חישוב, ואז פרשו את הדירוג.