דילוג לתוכן הראשי

תפריט

איך לקנות נתוני אימון לבינה מלאכותית

שפה: עברית

ספרו לנו מה המודל שלכם צריך ללמוד ואיך תעריכו אם מדגם מועיל. נוכל לדון במקורות מתאימים ובראיות שיש לבדוק לפני שתחליטו אם לקבל רישיון לאוסף. תארו את הפרויקט שלכם ל-sapien1

אפשר לקבל רישיון למערך נתונים קיים, לעבוד ישירות עם בעל הנתונים או להזמין איסוף נתונים למשימה מסוימת. לפני שמתחייבים, כדאי להגדיר מה המודל צריך ללמוד, לבדוק מדגם מול הדרישה הזאת ולוודא שהתנאים המוצעים מכסים את השימוש המתוכנן.

השאלה המועילה היא לא רק "כמה נתונים זמינים?" אלא גם האם הרשומות מכילות את הדוגמאות וההקשר שהצוות יכול להשתמש בהם, והאם הרישיון המוסכם מכסה את האנשים, המערכות והמטרות הנוגעים בדבר.

בחרו מאיפה להשיג את הנתונים

מסלולמתי כדאי לשקול אותומה כדאי לשאול תחילה
מערך נתונים קייםיש צורך באוסף נתונים שייתכן שכבר קיים.אילו גרסה, שדות, תקופת זמן ותנאי שימוש כלולים?
הסכם ישיר עם בעל הנתוניםארגון אחד מחזיק ברשומות או בתוכן רלוונטיים.מי מוסמך לאשר את השימוש המוצע, ואיזה חומר נכלל בהסכם?
איסוף או הכנה בהתאמה אישיתבחומר הקיים חסרים תרחישים, פורמטים או תוויות חשובים.מה ייאסף או יוכן, איך תיבדק האיכות ובמה יהיה אפשר להשתמש לאחר מכן?
מערך נתונים ציבוריאוסף נגיש עשוי להתאים למשימה או לשמש בסיס ראשוני להשוואה.מה נאמר בתיעוד שלו על המקור, המגבלות והשימוש המותר?

לדוגמה, Opendatabay מציגה זירת מסחר עם רשומות של מערכי נתונים, ואילו Clickworker מתארת שירותי איסוף ותיוג בהתאמה אישית. אלה נקודות פתיחה לבירור; בדקו את ההיצע והתנאים עבור הנתונים הספציפיים שנחוצים לכם.

המדריך שלנו לאיתור נתונים מסביר איך לתאר את המשימה, הכיסוי והפורמט לפני שפונים למקור נתונים.

החליטו מה לכלול בכל דוגמה

כדאי לתעד את ההתנהגות הרצויה ואת המידע הדרוש להערכתה. עבור סוכן תמיכה, רשומה עשויה לכלול את בקשת הלקוח, המדיניות שחלה באותה עת, הפעולה שננקטה והתוצאה. עבור מודל מסמכים, השדות החשובים עשויים לכלול תמונות עמודים, טקסט שחולץ, פריסה ותוויות מאומתות.

אם מדגם מסמכים כולל תיבות מתויגות, בדקו שהתיבות מיושרות עם התמונות שסופקו. בחלק מהפורמטים המיקומים מבוטאים כחלקים ממידות העמוד, ובאחרים משתמשים בפיקסלים. ודאו את העמוד, גרסת התמונה, יחידות המידה, ראשית מערכת הצירים וכל שינוי גודל, חיתוך או סיבוב. לאחר מכן הציגו תיבות מהמדגם על גבי התמונות כדי לבדוק את ההתאמה. בדקו גם אם התוויות מתארות את האזורים הנכונים.

בקשו תיאור של הגרסה המדויקת של מערך הנתונים: המקור, הגודל ויחידות המדידה, טווח הזמן המכוסה, הפורמטים, התוויות, החרגות ידועות והיסטוריית העיבוד. ההנחיות של Hugging Face לכרטיסי מערכי נתונים מתארות כיצד כרטיס יכול לתעד תוכן, הקשר ומטא-נתונים כגון רישיון, שפה וגודל. יש לבחון את המידע בשדות האלה לצד התיעוד שעליו הוא מבוסס.

בדיקת מדגם מול הדרישות

הסכימו על המדגם ועל הבדיקות לפני שתחליטו אם להרחיב את ההתקשרות. כללו מצבים שגרתיים שהמודל ייתקל בהם וגם מקרים קשים שחשובים למשימה. תעדו איך נבחר המדגם ואילו חלקים מהאוסף המוצע הוא מייצג.

תנאי זירת המסחר של Origin Lab, כפי שנקראו ב-18 בנובמבר 2026, מגבילים את השימוש במדגמי זירת המסחר כהגדרתם בתנאים להערכה פנימית, ואוסרים להשתמש בהם לבדיקה או להערכה של מערכת בינה מלאכותית, אלא אם הסכם מסחרי רלוונטי שנחתם על ידי Origin Lab קובע אחרת במפורש. ההגבלה הזאת על מדגמים אינה חלה על Bench Materials, שמוגדרים בנפרד וכפופים לתנאים משלהם. בדקו את התנאים הספציפיים של המדגם וכל הסכם רלוונטי לפני עיון בו, בדיקתו, אימון באמצעותו או שיתופו.

במדגם דיבור עם חותמות זמן למילים, שאלו לאיזו הקלטה ובאיזו יחידת זמן הן מתייחסות. אם חותמות הזמן מתייחסות לעותק שהוסרו ממנו קטעי שתיקה, בקשו את מזהה הקלטת המקור ומיפוי של הקטעים שנשמרו אל ציר הזמן המקורי. בדקו מילה שמופיעה אחרי חיתוך פנימי. במדגם בדיוני שמחבר ללא ריפוד את השניות 2–4 ו-7–9 מהמקור, 2.5 שניות במדגם ממופות ל-7.5 שניות במקור. הוספת ההיסט של שתי השניות של הקטע הראשון נותנת 4.5 שניות, בתוך הפער שהוסר. מיפוי חותמות זמן ב-NeMo Curator

בדקו כיצד החומר המסופק מסמן מילים שחותמות הזמן שלהן חוצות נקודת חיבור. באותו מדגם בדיוני, פונקציית העזר של faster-whisper שנבדקה בחרה בהיסט אחד לשני קצותיו של טווח שחוצה נקודת חיבור, ומיקמה את תחילתו בתוך הפער שהוסר. אם השימוש שלכם דורש טווח רציף בהקלטה המקורית, הסכימו כיצד לסמן ולבדוק את המקרים האלה לפני קבלתם. שחזור חותמות זמן ב-faster-whisper · חישוב היסט ב-faster-whisper

נבחן דוגמה בדיונית. צוות רוצה לבצע כוונון עדין לסוכן תמיכה שממליץ על הצעד הבא בטיפול בבקשת החזרה. ספק מציע אוסף של מקרי תמיכה. הצוות מבקש 12 דוגמאות לצורכי אבחון: שש החזרות שגרתיות ושישה מקרים חריגים. לבדיקה הראשונה הזאת, הוא דורש שכל דוגמה תכלול את בקשת הלקוח, קישור לגרסת המדיניות שחלה ותיעוד של התוצאה.

בדיקההדרישה למדגם הזהתוצאה להמחשה
בקשת הלקוחמופיעה בכל 12 הדוגמאותמופיעה ב-12 מתוך 12
גרסת המדיניות שחלהקיים קישור בכל 12 הדוגמאותקיים קישור ב-10 מתוך 12; בשני מקרים חריגים הקישור חסר
התוצאה שתועדהמופיעה בכל 12 הדוגמאותמופיעה ב-11 מתוך 12; במקרה שגרתי אחד התוצאה חסרה

המדגם אינו עומד בשתיים מהבדיקות שהצוות הגדיר. השלב הבא הוא לברר אם אפשר לשחזר את הקישורים החסרים למדיניות ואת התוצאה החסרה, ולבחון מדגם מתוקן. אם אי אפשר, הצוות יכול לשנות את הדרישה שלו או לחפש מקור אחר. תוצאה שתועדה אינה בהכרח החלטה נכונה: גורם שבודק את הנתונים ומכיר את התחום צריך גם להשוות את התוצאות למדיניות שחלה.

המספרים האלה מתארים רק את 12 המקרים שנבחרו. הם אינם אומדים את שיעור השגיאות באוסף המלא. כדי להעריך את הכיסוי הרחב יותר, שאלו מהי התפלגות מערך הנתונים בין התרחישים הרלוונטיים והסכימו על מדגם נוסף שייבחר בשיטה מתועדת. ההנחיות של Google בנושא איכות נתונים ודגימה מסבירות מדוע מדגם שנבחר עלול לתת תמונה מטעה של אוכלוסייה גדולה יותר.

נניח שכל 12 המקרים האלה הם משנת 2024, אבל האוסף המוצע מכסה את השנים 2022–2024. בדיקת עותק מתוקן יכולה לאשר את התיקונים במקרים האלה; היא אינה מראה אם שאר האוסף תוקן. שאלו באיזו גרסה של מערך הנתונים ובאילו רשומות בוצע התיקון, ואז הסכימו כיצד לבחור מדגם חדש מהגרסה שאתם מתכוונים לרכוש. אם אפשר לבדוק רק את 2024, השאירו את 2022–2023 ללא הערכה והחליטו אם לצמצם את הרכישה או להמתין לבדיקה רחבה יותר.

אם אי אפשר לשתף רשומות אמיתיות לבדיקה הראשונית, שאלו אם אפשר לקבל מדגם שהוסר ממנו מידע רגיש או גישה מבוקרת. דוגמה סינתטית יכולה להמחיש את הפורמט, אבל אינה יכולה לבסס מסקנה על האיכות או הכיסוי של האוסף בפועל.

הסכימו איך תאכפו את הגישה לפני קבלת מדגם: שאילתה שבוחרת עמודות מסוימות אינה מגבילה כשלעצמה את הגישה ליתר הקובץ שממנו נשלפו הנתונים. גם כותרת הסיום של Parquet יכולה להכיל נתונים סטטיסטיים על עמודות. אם הצד השולח צריך להגביל את המידע שעובר אל מחוץ לסביבה שלו, שקלו מדגם שהוכן בנפרד עם שדות מאושרים או שירות שאוכף הרשאות גישה ברמת השדה. בדקו את המטא-נתונים ואת בקרות הגישה לצד הרשומות שהוחזרו.

בדקו איך מותר להשתמש בנתונים

התאימו את ההסכם והמסמכים התומכים למערך הנתונים ולפרויקט הספציפיים. שאלות שכדאי לדון בהן עם הספק ועם האחראים על הבדיקה המשפטית ובדיקת הרכש כוללות:

  • איזו גרסה של מערך הנתונים מכוסה בהסכם, והאם הספק מוסמך להעניק הרשאה לשימוש המוצע?
  • האם אימון, כוונון עדין, הערכה או אחזור כלולים במידת הצורך? האם התנאים מתייחסים לפריסה מסחרית ולהגבלות רלוונטיות על מודלים או על פלטים?
  • למי מותר לגשת לנתונים או לעבד אותם, לרבות קבלנים או ספקי שירות? מהם תנאי המסירה, האחסון, שמירת הנתונים והמחיקה?
  • האם יש החרגות, זכויות של גורמים בשרשרת המקור, חומר של צד שלישי או מגבלות אחרות שדורשות בדיקה? אילו ראיות זמינות לתמיכה בתיאור הספק של מקור הנתונים וההרשאות לשימוש בהם?

תעדו בנפרד מה אומת ומה עדיין דורש בדיקה. ציון רישיון או כרטיס מערך נתונים עוזרים לזהות שימוש שנטען כי הוא מותר; הם אינם מאמתים כשלעצמם את הזכויות שבבסיס הטענה. בדיקה של מערכי נתוני טקסט, דיבור ווידאו ציבוריים מצאה הבדלים בין תיאורי רישיונות ברמת מערך הנתונים לבין מגבלות הקשורות לתוכן המקור. הממצאים נוגעים למערכי הנתונים הציבוריים שנבדקו, ולא לכל אוסף מסחרי.

לדוגמה, כרטיס שנעץ לגרסה מסוימת של מערך הנתונים הציבורי למחקר SciFact מתאר את המערך ככפוף לרישיון CC BY-NC 2.0 ומקשר לקובץ רישיון בענף master של המאגר, שעשוי להשתנות. בתמונת מצב נעוצה של אותו רישיון, המאגר מתאר בנפרד את CC BY 4.0 עבור טענות ותיוגי ראיות, את ODC-By 1.0 עבור תקצירי הקורפוס ואת Apache 2.0 עבור הקוד שלו. ייתכן שהמסמכים מתארים גרסאות, רכיבים או עיבודים שונים; הם אינם קובעים כשלעצמם את התנאים החלים על קובץ מסוים. מפו את הקבצים שסופקו ואת רכיבי המקור שלהם מול התיעוד הרלוונטי, ודאגו לבחינת שאלות זכויות שטרם נפתרו.

תכנון ההערכה והמסירה

החליטו כיצד הנתונים יימסרו ויתקבלו: פורמטים של קבצים, מניפסט או מזהה גרסה, תיעוד, בדיקות מדגם והדרך לתיקון בעיות. אם הנתונים ישמשו גם להערכת מודל, שמרו מערך בדיקה נפרד מחוץ לאימון ובדקו אם יש כפילויות בין החלקים לאחר החלוקה. ההנחיות של Google לחלוקת מערכי נתונים מסבירות כיצד כפילויות עלולות לגרום לתוצאות הבדיקה להיראות טובות מכפי שהן.

בדקו מתי מתחילה תקופת הבדיקה, כיצד יש למסור הודעה, מה משמעות אי-מתן הודעה ואילו סעדים חלים. לדוגמה, גרסה 1.0 של רישיון אימון הבינה המלאכותית הסטנדרטי של ai.market נותנת לרוכש שבעה ימים קלנדריים ממועד המסירה הראשונה כדי להודיע לזירת המסחר על אי-התאמה מהותית לרשומה. תנאי המסגרת של micro1, שעודכנו ב-12 בנובמבר 2026, נותנים ל-micro1, בעלת הרישיון, 30 ימי עסקים לאחר השלמת המסירה לפי המניפסט כדי לדחות נתונים בכתב. נקודת התחלה נפרדת חלה אם הספק מודיע לה בכתב שלא ניתן למסור את יתרת הנתונים. המסמכים חלים על עסקאות שונות וכוללים תנאים וחריגים נוספים. בדקו את התנאים ואת הגרסה החלים על ההזמנה שלכם.

מניפסט יכול לפרט את הקבצים ואת סכומי הביקורת הצפויים עבור הגרסה המוסכמת של מערך הנתונים. הסכימו כיצד תאמתו את מקור המניפסט, תשוו את רשימת הקבצים שבו למה שהתקבל ותבררו מקרים של קבצים חסרים, לא צפויים או שאינם תואמים. לדוגמה, אם מניפסט בדיוני מפרט שני קבצים אבל רק אחד מגיע, סכום ביקורת תואם של אותו קובץ אינו הופך את המסירה לשלמה. מפרט BagIt מבחין בין שלמות לבין אימות סכומי ביקורת בפורמט אריזה אחד. התאמה של סכום ביקורת מעידה שתקציר הקובץ שחושב תואם לזה שבמניפסט; היא אינה מוכיחה כשלעצמה את זהות השולח, את נכונות התוויות, את מידת הייצוגיות של הכיסוי או את הזכויות להשתמש בנתונים. בדקו את אלה בנפרד.

כשהספק שולח את הגרסה הבאה, עיינו במדריך בנושא קבלת משלוחים חוזרים של נתונים לבינה מלאכותית.

לדוגמה מפורטת של בדיקת זליגה למערך הבדיקה והקשר חסר, עיינו במדריך שלנו להערכת מערכי נתונים.

sapien1 מסייעת לצוותים להגדיר את היקף דרישות הנתונים, לזהות מקורות אפשריים ולהעריך מדגמים. התחילו מהמשימה, מהדוגמאות הדרושות לכם ומההחלטה שהמדגם צריך לתמוך בה. בעלי נתונים שמתכוננים לשיחה יכולים להיעזר במדריך ההכנה שלנו למתן רישיון לנתונים.