מחקר
איך לבדוק את כיסוי המחלקות לפני שמאשרים חלוקה לפי קבוצות
השאירו דוגמאות קשורות באותה קבוצה אם הן צריכות להישאר יחד בחלוקה לאימון ולבדיקה. קבוצה יכולה להיות שיחה, לקוח או יחידה אחרת שההערכה מגדירה. לפני בחירת שיטת חלוקה, רשמו אילו מחלקות חייבות להופיע בכל חלק בדיקה ומה הכמות המזערית הנדרשת. נוכחות כל המחלקות ואיזון מדויק הן דרישות שונות.
בדקו את החלוקה שהתקבלה
שמרו את שיוך הקבוצות לחלקים וספרו כמה דוגמאות מכל מחלקה יש בכל חלק בדיקה. בדקו בנפרד שהקבוצות נשארו שלמות ושכל המחלקות הנדרשות מופיעות. אם מחלקה חסרה, השהו את אישור החלוקה ובדקו אם שיוך אחר של קבוצות שלמות עומד בדרישה.
בדוגמה בדויה של 24 שורות, StratifiedGroupKFold ב-scikit-learn 1.7.2 השתמש בשלושה חלקים ללא ערבוב. סדר אחד של מזהי קבוצות מספריים נתן את זוגות הספירות (4, 2), (4, 6) ו-(4, 4). היפוך המזהים נתן (4, 6), (4, 0) ו-(4, 6), עם אותן שורות, תוויות ושיוכים לקבוצות. בחלוקה הראשונה כל המחלקות נוכחות אך אין איזון מדויק. השנייה לא עומדת בשתי הדרישות. חלוקה מדויקת של (4, 4) הייתה אפשרית בדוגמה הזאת.
בדקו אם אפשר לעמוד בדרישה
כדי ששני החלקים יכללו את כל המחלקות, כל מחלקה צריכה להופיע לפחות בשתי קבוצות בלתי תלויות. בדקו באילו קבוצות מופיעה כל מחלקה כדי לברר אם כולן יכולות להופיע בשני החלקים יחד.
בשתי דוגמאות נפרדות של 12 שורות, כל מחלקה מופיעה בשתי קבוצות ובכל קבוצה יש שתי שורות. לכן שתי הקבוצות של כל מחלקה צריכות להגיע לחלקים מנוגדים. כשששת הזוגות יוצרים מעגל, אפשר לשייך את הקבוצות לסירוגין. כשהם יוצרים שני משולשים, כל זוג מבין שלוש הקבוצות בכל משולש היה צריך להיות בחלקים מנוגדים. בכל משולש חייבת להיווצר מחלקה חסרה. מתוך כל 62 החלוקות לשני חלקים מזוהים ולא ריקים, שתיים נותנות כיסוי מלא למעגל ואף אחת לשני המשולשים.
בחרו תיקון שעומד באילוצים הקבועים
בדוגמת שני המשולשים, בחלק הראשון שהתקבל חסרה מחלקה 5 ובשני חסרה מחלקה 1. אם השיוכים הקיימים נשארים קבועים, שתי קבוצות חדשות ובלתי תלויות יכולות להשלים כל חוסר בנפרד. קבוצה שלמה יכולה להשתייך רק לחלק בדיקה אחד.
אם מותר להעביר קבוצות קיימות, קבוצה חדשה אחת יכולה להספיק. בדוגמה תשעה מתוך 15 הצירופים האפשריים של שתי מחלקות עובדים. בכל צירוף יש מחלקה אחת מכל משולש. ארבעה צירופים דורשים להזיז לפחות קבוצה מקורית אחת, וחמשת האחרים דורשים לפחות שלוש. לפני איסוף קבוצה חדשה, בדקו אילו מחלקות היא מכילה ואילו העברות מותרות.
תעדו את החלוקה שאושרה, את הספירות בכל חלק ואת הדרך שבה אימתם שהקבוצות נשארו שלמות. אם רשימת המקרים משתנה, תנו להערכה גרסה חדשה. בדיקת הכיסוי מאשרת את הכמויות והשיוכים שנקבעו. בדקו גם את שאר תנאי הקבלה, לרבות התאמת המקרים לשימוש המיועד.