דילוג לתוכן הראשי

תפריט

איך בודקים שמערך נתונים לבינה מלאכותית מתאים למשימה

שפה: עברית

שתפו את השימוש המיועד, סכימה ותיאור של המדגם. אפשר להגדיר היקף לבדיקה של כיסוי, איכות והרשאות, עם ממצאים שמסבירים באילו שימושים הראיות תומכות. תארו את הפרויקט שלכם ל-sapien1

בהערכת מערך נתונים בודקים אם הנתונים שכבר עומדים לרשותכם יכולים לתמוך בהחלטה מסוימת לגבי אימון, אחזור מידע או הערכה. התחילו מהמשימה המתוכננת, ואז בחנו את הדוגמאות, את ההקשר והתוויות שלהן, את הכיסוי ואת אופן חלוקת הנתונים.

למשל, קבוצת בדיקה יכולה להיראות מלאה ולכלול מקרים שהמודל כבר ראה באימון. זה חשוב כשהבדיקה אמורה לאמוד ביצועים במקרים חדשים. סקירה מועילה מבהירה מה נבדק, מה דורש תיקון ואילו מסקנות אפשר להסיק מהראיות הזמינות.

התחילו מההחלטה שאתם צריכים לקבל

כתבו למה אתם מתכוונים להשתמש במערך הנתונים. אותן רשומות עשויות להתאים למטרה אחת ולא להספיק למטרה אחרת.

השימוש המתוכנןשאלה שכדאי לענות עליה
אימון או כוונון עדיןהאם הדוגמאות והתוויות מתארות את ההתנהגות שהמודל צריך ללמוד?
הערכת מודל או סוכןהאם התוצאות הצפויות ניתנות לאימות? האם מקרי הבדיקה בלתי תלויים בחומר ששימש לאימון או לכוונון המערכת?
אחזור מידעהאם התוכן עדכני, ניתן לפירוש וזמין למערכת בזמן שהיא זקוקה לו?

תעדו את גרסת המערך, מקורו, טווח התאריכים, השדות והמגבלות הידועות. כרטיס מערך הנתונים עשוי לתעד את התוכן, ההקשר והמטא־נתונים. השוו אותו לקבצים בפועל ולתנאי השימוש הרלוונטיים.

לדוגמה לבדיקת תיעוד, קחו את המאגר lerobot/svla_so101_pickplace בגרסה f641879, שנבדקה ב־17 בנובמבר 2026. דוגמת המטא־נתונים בכרטיס המערך מציגה codebase_version בערך v2.1 ונתיבי קבצים המחולקים לפי אפיזודות. המטא־נתונים בפועל באותה גרסה מציגים codebase_version בערך v3.0 ונתיבים לקבצים המחולקים למקטעים. תיקיית הנתונים מכילה קובץ ששמו תואם לדפוס הזה. בדקו את המטא־נתונים והקבצים בגרסה שתשתמשו בה לפני שתסתמכו על נתיב מהכרטיס. איכות הדוגמאות והתאמתן לאימון מצריכות בדיקה נפרדת.

לפני שמשלבים תיעוד מרובוטים, בדקו מה מייצגים ערוצי הפעולה והמצב, וכמה זמן מייצג מספר קבוע של צעדים. FineART ומערך ALOHA מדומה מצהירים שניהם על aloha, ומייצגים את הפעולה ואת המצב כל אחד באמצעות וקטור float32 בן 14 רכיבים. FineART מצהיר על 30 פריימים בשנייה, והמערך המדומה על 50. אם כל צעד מתקדם במרווח של פריים אחד בקצב המוצהר, 15 צעדים מכסים 0.5 שניות במערך אחד ו־0.3 שניות בשני. בדקו את התזמון שנרשם ואת הדרך שבה תהליך העיבוד בוחר צעדים לפני שתתייחסו לחלונות משני המקורות כשקולים. המטא־נתונים של FineART · המטא־נתונים של מערך ALOHA המדומה

בדקו את החלוקה ואת ההקשר בעזרת דוגמה

נניח שצוות רוצה להשתמש במערך נתוני תמיכה מתויג כדי להחליט אם לשחרר סוכן שמטפל בשיחות חדשות. במערך יש 120 דוגמאות, מהן 90 לאימון ו־30 בקבוצת הבדיקה המוצעת. כל דוגמה צריכה לכלול מזהה מקרה, מזהה שיחה, את גרסת מדיניות התמיכה החלה ואת הפעולה הבאה הצפויה.

זוהי דוגמה בדיונית. הצוות בודק את 30 מקרי הבדיקה ומשווה אותם לקבוצת האימון. אלה הממצאים.

בדיקהממצאמשמעות להחלטה הזו
מקרים כפוליםנמצא שארבעה מקרי בדיקה הם עותקים של מקרים בקבוצת האימון.לארבעת המקרים יש מקבילות בקבוצת האימון.
שיחות משותפותלשלושה מקרי בדיקה נוספים יש מזהי מקרה שונים, אך הם שייכים לשיחות שמופיעות בקבוצת האימון.אלה התאמות נוספות בין קבוצות במבחן שנועד לכסות שיחות חדשות.
הקשר המדיניותבשניים מתוך 23 מקרי הבדיקה הנותרים אין הפניה לגרסת המדיניות.ההקשר שנשמר עדיין אינו מאפשר לבדוק אם הפעולות הצפויות תואמות למדיניות הרלוונטית.

שתי הבדיקות הראשונות מסמנות שבעה מקרים נפרדים. ב־23 מקרים לא נמצאו התאמות כאלה. לשניים מתוכם חסר הקשר המדיניות, ולכן נותרו 21 מקרי בדיקה שלא סומנו בבדיקות האלה. עדיין צריך לבדוק אם התוויות שלהם נכונות, אם הכיסוי מספיק ואם 21 מקרים מספיקים להחלטת שחרור.

כדאי להשהות את השימוש בקבוצה הקיימת כמבחן שחרור עצמאי לשיחות חדשות. בודדו את המקרים שסומנו לבחינה, ושחזרו או הבהירו את ההקשר החסר. בדקו מה כבר ראו המודל וצוות הפיתוח. סידור מחדש של קבצים לבדו לא הופך מקרים שכבר שימשו למקרים חדשים. בחלוקה חדשה, השאירו כל שיחה בשלמותה בקבוצה אחת ובדקו את מקרי הבדיקה מול הנתונים המתועדים של האימון ובחירת המודל. אם אי אפשר לאמת את מקור נתוני האימון הקודמים, תעדו את המגבלה. אם תוצאות קודמות השפיעו על הכוונון, שמרו מקרים חדשים שלא השפיעו על ההחלטות האלה. במידת הצורך אמנו שוב בנתונים מופרדים.

המדריך של Google לחלוקת מערכי נתונים מסביר איך כפילויות בין אימון לבדיקה עשויות לגרום לתוצאות להיראות טובות יותר מהביצועים על דוגמאות חדשות. המדריך של scikit-learn לאימות צולב לפי קבוצות מסביר איך לשמור תצפיות קשורות באותה קבוצה כדי להעריך ביצועים בקבוצות שהמודל טרם ראה. הקבוצה הרלוונטית תלויה בשאלה, למשל שיחה, לקוח או מסמך. אם מבחן לכיתובי תמונה אמור להשתמש בתמונות שאינן מופיעות בקבוצת האימון, שמרו את כל הכיתובים של אותה תמונה יחד. חלוקה של כל שורת כיתוב בנפרד עלולה להציב אותה תמונה גם באימון וגם בבדיקה. כדי להעריך ביצועים בעתיד, השתמשו בחלוקה לפי סדר זמנים, כך שהאימון לא יכלול תצפיות מאוחרות מתקופת הבדיקה.

נניח שהצוות רוצה לבדוק גם שיחות חדשות אחרי מועד החיתוך. בחלוקה מחודשת יש לשיחה A רשומות משני צדי המועד, ואילו המקרה המתועד הראשון של שיחה B מופיע אחריו. אפשר להוציא את A משתי הקבוצות ולהקצות את B לבדיקה, אם הרשומות של B לא שימשו קודם לאימון או לבחירת המודל. השתמשו לאימון בנתונים שקדמו למועד החיתוך ובדקו אם בקבוצת הבדיקה יש מקרים שכבר שימשו בעבר. תעדו את ההחרגות ובדקו אם המקרים שנותרו מכסים את השימוש המתוכנן. מבחן נפרד ששומר על סדר הזמנים יכול להעריך שיחות שנמשכות. כשההיסטוריה חלקית, ייתכן שאי אפשר לאשר ששיחה B חדשה.

בדקו מה כלי החלוקה מקצה בפועל לפני שאתם מניחים ששיעור שלא צוין יישאר בצד. למשל, פונקציית העזר של LeRobot לחלוקה לפי שיעורים בגרסה 7910c20 מקצה את כל 50 האפיזודות במערך בדיוני כשהיא מקבלת train: 0.6 ואחריו test: 0.2. 30 מוקצות לאימון ו־20 לבדיקה, ואף אפיזודה אינה נשארת ללא שיוך. כלים או גרסאות אחרים עשויים להתנהג אחרת, ומערכים קטנים עשויים לדרוש עיגול או הקצאה מחדש. בדקו בפועל אילו אפיזודות הוקצו לכל קבוצה. כשצריך לשמור קבוצות יחד, בחרו רשימות אפיזודות ששומרות עליהן ותעדו אותן.

הערת מחקר על LeRobot מתארת איך מעבד Diffusion חדש עשוי לקבל נתוני נרמול שמורים, ומשווה את הטווחים שלהם לסיכומי אפיזודות אימון בחלוקה היפותטית עם נתונים שהופרשו. בדקו מה מקור הנתונים הסטטיסטיים שהמעבד שלכם טוען ועל אילו רשומות הם מבוססים.

בדקו את התוויות ואת הכיסוי

בנתונים מתויגים, השוו מדגם של תשובות צפויות להוראות ולראיות ששימשו להכנתן. בודק שמכיר את התחום יכול לבחון הקשר חסר, תוויות לא עקביות ומקרים שבהם התשובה הנכונה באמת לא חד־משמעית. תעדו את המחלוקות ואת הדרך שבה נפתרו. הסכמה בין בודקים מספקת מידע שימושי, ונחוצות ראיות נוספות לאימות נכונות התווית. מחקר על ניהול איכות התיוג מבחין בין בדיקה, מדידת הסכמה והכרעה במחלוקות.

תוויות מחלקה מספריות דורשות מיפוי ממזהים לשמות מחלקות ולהגדרותיהן. השוו את ההגדרות והמזהים בין גרסאות וקבוצות וגם למיפוי שהמודל מצפה לו. תעדו כל המרה וכיצד אתם מטפלים במחלקות חסרות או ממוזגות. מדריך מערכי הנתונים של Ultralytics Platform מציין שמיזוג או מחיקה של מחלקות יכולים להזיז את המזהים הבאים. לכן קובצי ייצוא ישנים עלולים לא להתאים עוד לרשימת המחלקות המעודכנת. אמתו את המיפוי בייצוא ובתהליך העיבוד שלכם.

בדקו אם מערך הנתונים מכסה את המצבים החשובים לשימוש המתוכנן, כמו בקשות נפוצות, חריגים חשובים, שפות, תקופות או קבוצות אחרות שיש להן משמעות. בקבוצה עם מעט דוגמאות ייתכן שיידרשו נתונים נוספים או ניתוח נפרד. מספר הדוגמאות המתאים יכול להשתנות מקבוצה לקבוצה.

תעדו את הדרך שבה נבחרו הדוגמאות לבדיקה. בחירה ידנית יכולה לחשוף בעיה, אבל שיעור הטעויות של דוגמאות שנבחרו ידנית אינו מייצג את המערך כולו. מדריך הדגימה של Google מסביר כיצד דרך הבחירה יכולה להטות מסקנות על אוכלוסייה גדולה יותר.

גם מדגם אקראי עלול להחמיץ טעויות. נניח שבאצווה בדיונית נפרדת יש 120 רשומות, שמתוכן לשש תווית שגויה. אם תבחרו באקראי 20 רשומות שונות בהסתברות אחידה, בכ־33% מהמקרים לא תופיע במדגם אף אחת מהשש. בחירה של 47 מורידה את ההסתברות להחמיץ את כולן לפחות מ־5%, בתנאי שהבודקים מזהים כל תווית שגויה ברשומות שנבחרו. זוהי דוגמת תכנון שמניחה שש טעויות. מדגם נקי אינו מוכיח שיש בדיוק שש טעויות או שכל השאר תקין. בחרו את גודל המדגם לפי שכיחות הטעויות והסיכון להחמיץ אותן שרלוונטיים להחלטה. תעדו איך הדוגמאות נבחרו ונבדקו. המבוא של NIST לדגימה עוסק בבחירה ובגודל המדגם. מחקר על איכות התיוג מסביר איך לאמוד את איכות התיוג בשיטות סטטיסטיות ולדגום לצורך קבלה.

השוואת ציוני הבנת הנקרא בין שפות

החליטו מה לשנות

גזרו מהממצאים פעולות שהצוות יכול לבצע.

  • תקנו. שחזרו את ההקשר החסר, תקנו טעויות שאומתו או עדכנו את הוראות התיוג, ואז בדקו שוב את הרשומות שנפגעו.
  • הגבילו את השימוש. השתמשו במערך רק למשימות או לקבוצות משנה שהוא מסוגל לתמוך בהן, ותארו פערים ידועים.
  • השהו. אל תשתמשו במערך לאימון או להחלטת שחרור עד לפתרון בעיה מהותית.
  • הוסיפו נתונים. אספו או השיגו מקרים שמייצגים מצבים חסרים, או בנו קבוצת בדיקה חדשה שלא שימשה לאימון או לכוונון.

ודאו שאפשר לזהות את הגרסה המקורית ואת הגרסה המעודכנת. תעדו בדיקות, שיטת בחירה, ממצאים, החלטות של בודקים ושאלות פתוחות, כדי שצוות אחר יוכל להבין מה השתנה ולמה.

אמתו מערך Parquet שנכתב מחדש

כשקובצי Parquet שסופקו נכתבים מחדש, הגדירו אילו מאפיינים הקבצים החדשים צריכים לשמר לצורך המשימה. תעדו את גרסאות הקבצים המקוריים והמעודכנים, והריצו את הבדיקות בכלי הקריאה שהצוות משתמש בו בהמשך התהליך. הדוגמאות הבאות משתמשות בנתונים בדיוניים.

  • שדות מקור. שמרו את הסכמה של כל קובץ מקורי כשצריך להבחין בין שדה שאינו קיים לערך null מפורש. בדוגמה של DuckDB 1.4.4, החלפת המקור שבו השדה היה חסר הניבה קבצים ממוזגים זהים גם כאשר נשמרו שמות המקורות. הסכמות המקוריות חשפו את שני השינויים. מיזוג סכמות ב־DuckDB
  • זוגות של מקרים ותוויות. ודאו שמזהי המקרים קיימים וייחודיים. התאימו אותם לרשימה הצפויה והשוו תוויות לפי מזהה. בדוגמה בת שמונה שורות, שתי כתיבות מחדש שמרו את אותם מטא־נתונים בסוף הקובץ ואת אותה ספירת תוויות. בגרסה אחת שתי תוויות עברו למקרים אחרים. בגרסה האחרת שונה רק סדר השורות השלמות, ולכן כל הזוגות נשמרו. מבנה קובץ Parquet
  • מספרים אחרי פענוח. אמתו את הטיפוס הלוגי והשוו את המספרים שתקראו. בדוגמה העשרונית, שינוי קנה המידה מ־2 ל־3 הפך את 12.34 ל־1.234, אף שהשלמים המאוחסנים והבייטים של מקטע העמודה נותרו זהים. מפרט הטיפוס העשרוני ב־Parquet
  • תאריכים מקומיים. כשדוח מקבץ אירועים לפי יום מקומי, השוו את היום של כל אירוע באזור הזמן המוסכם. בדוגמה עם PyArrow 26.0.1, שני אירועים שמרו את נקודות הזמן שלהם לאחר כתיבה מחדש בלי מטא־נתונים של סכמת Arrow. קריאה בחזרה לפי UTC שייכה את שניהם ל־1 ביולי. אזור הזמן המוסכם בניו יורק החזיר את השיוך ל־30 ביוני ול־1 ביולי. אפשרויות כתיבה ב־PyArrow

בססו כל בדיקה על המאפיין שהוסכם. אם מותר לשנות את הסדר, סידור מחדש ששומר את הזוגות עובר את בדיקת המקרים והתוויות. אם החוזה מחייב להוכיח אילו שדות היו בכל מקור והסכמות המקוריות חסרות, השהו את הבדיקה עד שתשחזרו את הראיות.

בדקו את ההמרה של נתוני COCO

כשממירים מערך COCO לזיהוי עצמים, השוו את מיפויי התמונות לפני ואחרי הייצוא. בדקו שלכל תמונה מקורית יש מזהה מספרי נפרד בייצוא, ושהתיוגים והחיזויים עדיין מפנים לתמונה הנכונה. כשהוגדר מיפוי מזהים שמור, כלי הייצוא של FiftyOne שנבדק ממיר 01 ו־1 לאותו מספר שלם. אינדקס COCO שנבדק שומר את שורת התמונה האחרונה למזהה הזה ומקבץ את התיוגים תחתיו. פתרו כפילויות של מזהים לפני חישוב הציונים. כלי הייצוא של FiftyOne · אינדקס COCO

אם אפשר, שמרו את המזהים המקוריים. אם הם צריכים להשתנות, שמרו על הסדר המספרי היחסי שלהם וחשבו מחדש את הדיוק הממוצע (AP) בנתונים המקוריים והמומרים. השתמשו באותה גרסה של כלי ההערכה, באותן הגדרות ובציוני חיזוי שלא עוגלו. בכל הרצה מפו את החיזויים לתמונות התואמות. כללו גם בדיקה קטנה עם שני זיהויים באותה קטגוריה ובאותו ציון ביטחון, בשתי תמונות שונות. אחד מהם צריך להתאים לתיוג האמת והשני להיות חיובי כוזב. כלי ההערכה של COCO שנבדק ממיין מזהי תמונה ושומר על הסדר כשציונים שווים בין תמונות. לכן מספור מחדש יכול לשנות AP גם אם התאמות הזיהויים נשארות זהות. בדקו ופתרו כל הבדל בציונים לפני שתשוו את הגרסאות. סדר התמונות ב־COCO · צבירת ציונים ב־COCO

sapien1 עוזרת לצוותים להעריך מערכי נתונים ולתכנן הערכות לפי המשימות שמערכת הבינה המלאכותית צריכה לבצע. אחרי בדיקת הנתונים, אפשר להמשיך למדריך להערכת סוכנים. אם מצאתם פער בנתונים, המדריך לאיתור מקורות נתונים יכול לעזור להגדיר מה לחפש.