# איך מעריכים מערכת שיכולה לדחות מקרים?

השתמשו באותה רשימת מקרי בדיקה בשתי דרכי העבודה. לכל מקרה רשמו את התחזית הראשית ואת מידת הביטחון בה, אם המערכת קיבלה או דחתה את המקרה, את תשובת החלופה אם יש כזו ואת התוצאה הסופית. הרשומות מאפשרות לערוך שלוש בדיקות לפני השוואת שיעורי הדיוק.

**בדקו כמה מקרים המערכת מקבלת ואיך היא בוחרת אותם.** הכיסוי הוא שיעור המקרים שהמערכת הראשית מקבלת. בהרצה חוזרת של בדיקה בת שישה מקרים, שינוי סף הביטחון הקפיץ את מספר המקרים שהתקבלו מאחד לחמישה כי ארבעה ציונים היו שווים. מכסה של שלושה מקרים בדיוק הייתה יכולה לפצל את קבוצת המקרים בעלי הציון הזהה. כשמיינו לפי הציון והכריעו בין ציונים שווים לפי סדר הקובץ, שינוי סדר השורות לבדו הביא לאפס או לשתי שגיאות בשלושת המקרים. אם משתמשים בסף, דווחו על הכיסוי בפועל. אם משתמשים במכסה מדויקת, תעדו את כלל ההכרעה ואת מזהי המקרים שהתקבלו. [ספי ציונים ב-scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**ספרו את ההחלטות הנכונות של החלופה במקרים שהגיעו אליה.** בהרצה נפרדת של 12 מקרים, כל אחת מהמערכות A ו-B קיבלה שישה מקרים, ושלושה מזהים היו משותפים. A צדקה בשישה מהמקרים שקיבלה ו-B צדקה בחמישה. אותה חלופה, עם תשובה קבועה לכל מקרה, צדקה בשניים מהמקרים ש-A דחתה ובחמישה מהמקרים ש-B דחתה. בספירה של התהליך המלא, B הובילה עם 10 החלטות נכונות לעומת 8. דווחו גם על הדיוק במקרים שהתקבלו וגם על הדיוק בכל הרשימה. שמרו עם הדוח את גרסת החלופה ואת תוצאות המקרים שנדחו. [הערכה משולבת של מערכת החיזוי והחלופה](https://proceedings.mlr.press/v119/mozannar20b.html)

**בדקו אילו תוצאות חסרות יכולות לשנות איזו מערכת מובילה.** בבדיקה של 12 מקרים הוסתרו שלוש תוצאות של מקרים ששתי המערכות העבירו הלאה. בכל השלמה אפשרית B נשארה ביתרון של שתי החלטות נכונות, כי כל תוצאה מוסתרת הייתה משותפת לשתיהן. כשהוסתרו שש תוצאות של מקרים שטופלו במסלולים שונים, ההפרש של B פחות A נע בין −4 לבין +2. השתמשו בחישוב של תוצאות משותפות רק כששתי המערכות היו משתמשות באותה תוצאה לאותו מקרה שהועבר הלאה. אם כל אחת מדרכי העבודה עשויה להוביל, חפשו קודם את תוצאות המקרים שעברו במסלולים שונים.

כללו לצד הציונים את מספר המקרים הכולל, מספר המקרים שהתקבלו, מספר ההחלטות הנכונות בכל מסלול ומספר התוצאות החסרות. אם הנתונים חלקיים, ציינו את ההנחות שעליהן מבוסס הטווח שנותר.

[הורדת סקריפטים להרצה חוזרת ותוצאות שמורות (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
