מחקר
איך לבדוק AUROC מאימות צולב לפני בחירת מודל
התחילו מההשוואה שאתם צריכים. האם היא מכסה את כל חלקי הבדיקה הנדרשים? האם כל חלק צריך לקבל אותו משקל, או כל זוג שאפשר להשוות? אם הציונים התקבלו ממודלים שאומנו בנפרד, בדקו אם ההערכה מאפשרת להשוות ציונים בין החלקים.
בדקו שלכל חלק נדרש יש ציון
ב-AUROC בינארי, ספרו את המקרים החיוביים והשליליים בכל חלק בדיקה. שמרו את מזהי מקרי האימות שקיבלו ציונים, את הציונים של כל מועמד בכל חלק ואת האזהרות מהריצה.
בחיפוש רשת בדוי עם עשרה מקרים, בשני חלקים יש את שתי המחלקות ובשלישי רק מקרים שליליים. scikit-learn 1.7.2 מוציא אזהרה ומחזיר NaN לשני המועמדים בחלק השלישי. שני הממוצעים הם NaN ושני המועמדים מדורגים במקום 1. החיפוש מאמן מחדש את המועמד הראשון ברשימה, גם עם error_score="raise". היפוך הסדר משנה את הבחירה.
בבדיקה נפרדת שמוגבלת לשני החלקים שבהם הציון מוגדר, הממוצעים הם 1.00 ל-A ו-0.375 ל-B. A נבחר בשני הסדרים. אם מדווחים את תוצאות הבדיקה הזאת, ציינו שהיקף האימות מצומצם. טפלו בכיסוי של החלקים שנדרשו במקור לפני שימוש בחיפוש לבחירת מנצח.
בדקו איך משקללים את ציוני החלקים
ב-AUROC בינארי ללא משקולות, חלק בדיקה עם p מקרים חיוביים ו-n מקרים שליליים נותן p × n השוואות בין חיובי לשלילי. ה-AUROC בתוך החלק מודד באיזו תדירות החיובי מקבל ציון גבוה יותר, עם חצי נקודה בשוויון. ממוצע לפי חלקים נותן לכל חלק משקל שווה. שקלול לפי זוגות בתוך החלקים נותן לכל זוג כשיר משקל שווה.
בדוגמה בדויה אחרת, בכל אחד משני החלקים יש שש שורות. בחלק 1 יש מקרה חיובי אחד וחמישה שליליים, ולכן הוא תורם חמישה זוגות. בחלק 2 יש שלושה מכל מחלקה, ולכן הוא תורם תשעה זוגות. A מקבל 5/5 ו-4/9. B מקבל 2/5 ו-8/9.
| חישוב | A | B | ציון גבוה יותר |
|---|---|---|---|
| משקל שווה לכל חלק | 13/18 | 29/45 | A |
| משקל שווה לכל זוג בתוך חלק | 9/14 | 10/14 | B |
בהשוואה הזאת, הציונים משתווים כשחלק 1 מקבל משקל של 20/47. במשקל שווה לחלקים, חלק 1 מקבל משקל גבוה יותר. שקלול לפי זוגות נותן לו 5/14 ומציב את B בראש. שני החישובים סופרים השוואות בתוך החלקים.
בדקו מה מניח חישוב ציון מאוחד
כשמאחדים את התחזיות תחילה, משווים גם חיוביים ושליליים מחלקים שונים. בדוגמה שלישית, A מקבל 3/4 בכל חלק ו-B מקבל 2/4 בכל חלק. הציונים המאוחדים המקוריים הם 13/16 ל-A ו-11/16 ל-B. הוספת קבוע לציונים של A בחלק השני שומרת על הסדר הפנימי בשני החלקים ומורידה את הציון המאוחד של A ל-10/16. B נשאר ב-11/16 ותוצאת ההשוואה מתהפכת.
אם השאלה היא על דירוג בתוך כל חלק שהוקצה לבדיקה, דווחו על ציוני החלקים ועל השקלול שנבחר. אם אתם מאחדים תחזיות, תעדו מה מאפשר להשוות סולמות של מודלים שאומנו בנפרד. שמרו יחד את השיוך לחלקים, ספירת המקרים בכל מחלקה, עמודות הציונים, כלל החישוב ותוצאת הבחירה כדי שאדם נוסף יוכל לשחזר את ההשוואה.
שלוש הדוגמאות משתמשות בציונים בדויים. תחזיות מאימות צולב ב-scikit-learn · מחקר על איחוד תוצאות של אימות צולב