# איך מתכננים בדיקת מדגם כדי למצוא תוויות שגויות?

החליטו מה הבדיקה צריכה לעזור לכם להכריע לפני שתבחרו את גודל המדגם. אם באצווה יש מספר נתון של תוויות שגויות, מה הסיכון שתסכימו לקחת לכך שהבדיקה לא תמצא אף אחת מהן? התשובה תלויה בדרך בחירת השורות, בשגיאות שהבודקים יכולים למצוא ובחלוקת העבודה.

הדוגמאות ממשיכות את המקרה המדומה ממדריך הערכת מערכי נתונים, עם 120 שורות ושש תוויות שגויות. כל דוגמה בוחנת חלק אחר מתוכנית הבדיקה.

## חשבו את הסיכון לפי דרך בחירת השורות

הניחו תחילה שכל שגיאה בשורות שנבדקות מתגלה. מדגם אחיד של 20 שורות שונות מחמיץ את כל שש השגיאות בכ־32.63% מהמקרים. אם בוחרים כל שורה שישית מנקודת התחלה אקראית, והשגיאות נמצאות באותו מקום בקבוצות רצופות של שש שורות, אפשר למצוא אותן רק מאחת משש נקודות ההתחלה. בסידור הזה הסיכון להחמיץ את כולן הוא 83.33%.

בחירה בלתי תלויה של שורה אחת מכל קבוצה של שש מורידה את הסיכון בסידור הזה ל־33.49%. זה גם הסיכון הגבוה ביותר בשיטה הזאת, בלי קשר למיקום של שש השגיאות. בדוגמה עם המיקום החוזר, הסיכון יורד מתחת ל־5% רק כשכוללים את כל שש נקודות ההתחלה השונות. במדגם אחיד, כשכל שגיאה שנבדקת מתגלה, מגיעים לסף הזה ב־47 שורות.

## הפרידו בין בחירת השורות ליכולת למצוא שגיאות

במדגם אחיד של 47 שורות, הסיכוי שלא נמצאה אף שגיאה אמיתית הוא 4.66% אם כל שגיאה בשורות שנבדקות מתגלה. הסיכוי הוא 10.06% אם אפשר למצוא כל שגיאה במדגם באופן בלתי תלוי ובהסתברות של 80%. לפי הנחת אי־התלות הזאת, הסיכון יורד לראשונה מתחת ל־5% ב־59 שורות.

ב־47 שורות, אותה הסתברות של 80% לכל שגיאה יכולה להוביל לסיכוי של 8.96% עד 23.73% להחמיץ את כולן, לפי השגיאות שאפשר למצוא יחד. החישוב מניח שבחירה אחידה אינה תלויה בשגיאות שאפשר למצוא בבדיקה. במקרה הכי פחות טוב ניתן למצוא את כל שש השגיאות ב־80% מהניסיונות, ואף אחת מהן ב־20% הנותרים. גם בדיקה של כל שורה פעם אחת משאירה סיכוי של 20% שלא יימצא דבר. בניסויים עם שגיאות ידועות, תעדו אילו התגלו יחד בכל בדיקה דומה.

## ספרו שורות שונות והזדמנויות בלתי תלויות למצוא שגיאות

נניח שיש תקציב ל־60 בדיקות של שורות. בדוגמה הזאת, כל בודק יכול למצוא את כל השגיאות שהוקצו לו ב־80% מהניסיונות, ואף אחת בשאר הניסיונות. השורות מוקצות בהסתברות אחידה, בלי תלות ביכולת למצוא את השגיאות.

| איך מחלקים את עבודת הבדיקה | מספר השורות השונות | הסיכוי שלא תימצא אף שגיאה אמיתית |
| --- | --- | --- |
| בודק אחד בודק 60 שורות | 60 | 21.10% |
| שני בודקים בלתי תלויים בודקים קבוצות נפרדות של 30 שורות כל אחת | 60 | 10.33% |
| שני בודקים שיכולים למצוא שגיאות באותם ניסיונות בודקים קבוצות נפרדות של 30 שורות כל אחת | 60 | 21.10% |
| שני בודקים בלתי תלויים בודקים שניהם את אותן 30 שורות | 30 | 20.36% |

תעדו את מזהי השורות במדגם, את כלל הבחירה, מי ראה כל שורה ואת ההנחות לגבי מציאת שגיאות. בדקו אם התוכנית עומדת בסף הסיכון. בדיקה שמטרתה למצוא לפחות שגיאה אמיתית אחת מצריכה בדיקות נפרדות של התרעות שווא, איכות ההכרעה במקרה של מחלוקת והתאמה לשימוש המיועד.

[דוגמת מדגם בהערכת מערכי נתונים](https://sapien1.com/he/dataset-evaluation#review-labels-and-coverage) · [שיטות דגימה של הלשכה לסטטיסטיקה של קנדה](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [מחקר על בדיקות שעלולות להחמיץ שגיאות](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
