דילוג לתוכן הראשי

תפריט

איך לאשר מסירות תקופתיות של נתוני בינה מלאכותית

שפה: עברית

שתפו את הסכימה הצפויה, את תדירות המסירה ואת התנאים שיהפכו אצווה לבלתי שמישה. נוכל לסייע בהגדרת היקף לבדיקות קבלה וברישום של מה שעבר או דורש תיקון. תארו את הפרויקט שלכם ל-sapien1

לפני החלת מסירה תקופתית של מערך נתונים, השוו אותה לגרסה האחרונה שהצוות שלכם אישר. בדקו אם הקבצים החדשים מחליפים את האוסף שהוסכם עליו או כוללים שינויים ביחס לגרסת בסיס מסוימת. בדיקות הקבצים עשויות לעבור גם כשהעדכון מתחיל מגרסה שגויה.

בדקו מה כוללת המסירה החדשה

בקשו את מזהה הגרסה, את היקף המסירה ואת רשימת הקבצים שלה. במקרה של החלפה, ודאו מה נכלל במערך המלא. במקרה של חבילת שינויים, בדקו איזו גרסת בסיס נדרשת ואיך הספק מסמן הוספות, עדכונים והסרות. רשומה יכולה להיעדר מקובץ שינויים מפני שלא השתנתה. AWS Data Exchange מתאר גם מערכי נתונים מלאים ומעודכנים וגם גרסאות שמכילות נתונים חדשים מאז הגרסה הקודמת. תיעוד הגרסאות של AWS Data Exchange

השוו את שמות הקבצים ואת סכומי הביקורת שלהם לרשימת הקבצים שהסכמתם להשתמש בה. לאחר מכן בדקו בנפרד שגרסת הבסיס והשינויים ברשומות תואמים את הסכם המסירה. מפרט BagIt מתאר רשימות קבצים ואימות סכומי ביקורת. מפרט BagIt

החילו את העדכון בסביבת הכנה ובדקו את הרשומות שהתקבלו

בדוגמה הבדיונית הזאת, רוכש משתמש בהזנת קטלוג כדי לבחור רשומות למערך אימון. הבדיקות שלו דורשות התאמה מדויקת לגרסת הבסיס ויעד פעיל לכל רשומה שמוזגה ושמערך האימון מפנה אליה. הגרסה האחרונה שאושרה היא R12, ובה המזהים הפעילים A14, A27, A38 ו-A52. החבילה הראשונה של R13 עוברת את בדיקות הקבצים. גרסת הבסיס שנדרשת לה היא R11. הרוכש ממשיך להשתמש ב-R12 ומבקש חבילת שינויים שמתחילה ב-R12 או החלפה מלאה של ההיקף המוסכם.

הספק שולח את R13b, גרסה מתוקנת שמציינת את R12 כגרסת הבסיס. הרוכש בודק את הקבצים החדשים ומחיל את השינויים על עותק בסביבת הכנה שמאושרת לנתונים האלה.

רשומההשינוי או המצב הצפוי ב-R13bמה לבדוק לפני שמאשרים את R13b
A14שינוי הנושא מ-returns ל-exchangesודאו את הערך הישן ב-R12 ואת הערך החדש בתוצאה בסביבת ההכנה.
A27מיזוג לתוך A38ודאו ש-A27 יוצא מקבוצת הרשומות הפעילות ושההפניות הנוכחיות מובילות אל A38.
A38נותר המזהה הפעיל אחרי המיזוגודאו שיעד המיזוג קיים.
A52אינו מופיע בחבילת השינוייםודאו שהרשומה שלא השתנתה נשארה פעילה.
A65הוספת רשומהודאו שהמזהה החדש מופיע פעם אחת.

המזהים הפעילים לאחר העדכון צריכים להיות A14, A38, A52 ו-A65. ספירת שורות לא תגלה את החלפת המזהים, כי בשתי הגרסאות יש ארבע רשומות פעילות. אילו A38 היה חסר, הרוכש היה מעכב את R13b ומבקש מהספק לתקן את ההפניה השבורה. לאחר שהבדיקות עוברות בדוגמה הזאת, הרוכש מתעד R13b אושרה ו-R13 עוכבה בגלל אי-התאמה בגרסת הבסיס, וכן את ערך הגיבוב של רשימת הקבצים בכל חבילה.

שמרו על האפשרות להשתמש בהפניות נוכחיות והיסטוריות

בררו אם יש מזהה שנותר בתוקף אחרי הסרת רשומה. בקובץ המחיקות של OpenAlex מופיעים מזהי יצירות שהוסרו בעקבות מיזוג. מיפוי המיזוגים הנפרד מציין, ככל שהמידע זמין, את המזהה הנוכחי שנותר בתוקף עבור המזהים המופיעים בו. אם ההסכם מאפשר לשמור מזהים, תעדו את המזהה שהתקבל, את המזהה שאליו הוא מפנה כעת ואת גרסת המסירה ששימשה לבירור ההפניה. ודאו שהמזהה שנותר בתוקף פעיל באותה גרסה. תיעוד הסנכרון של OpenAlex

אם צריך לשחזר מערך אימון ישן אחרי העברת טבלה, תעדו את הבורר הישן, את ההפניה המוצעת במערכת היעד ואת אזור הזמן והשעון שעליהם מבוססת כל נקודת חיתוך בזמן. נסו את שני הבוררים במערכות הרלוונטיות לפני שתסתמכו עליהם. בשחזור מקומי של sapien1 שבו הועברו טבלאות Delta ריקות באמצעות Iceberg 1.12.0, עדיין היה אפשר להגיע לתמונת מצב קודמת דרך תג הגרסה שלה. חיפוש לפי חותמת הזמן של קובץ היומן השני של Delta לא מצא רשומה תואמת בהיסטוריה שפרסם Iceberg. מחקר על העברה ל-Iceberg

תעדו את ההחלטה לקראת המסירה הבאה

תעדו את גרסת הבסיס, את הגרסה שהתקבלה ואת המזהה או ערך הגיבוב של רשימת הקבצים שלה, את בדיקות המזהים הפעילים, הפניות שלא נפתרו והחלטה על אישור או תיקון. שאלו את הספק מה משמעותו של סימון הסרה לפי ההסכם שלכם, ופעלו לפי הכללים שחלים על העותקים או המזהים שאתם שומרים.

לעזרה בהגדרת בדיקות קבלה, שלחו דוא״ל אל sapien1 עם הגרסה האחרונה שאושרה, פורמט העדכון וההחלטה שעליכם לקבל.

אם אתם עדיין בוחרים ספק, התחילו במדריך איך קונים נתוני אימון לבינה מלאכותית. לעזרה בהגדרת המשימה והנתונים שהיא דורשת, עיינו במדריך איתור מקורות נתונים.