كيفية قبول التسليمات الدورية لبيانات الذكاء الاصطناعي
اللغة: العربية
شارك المخطط المتوقع وتواتر التسليم وما قد يجعل الدفعة غير صالحة للاستخدام. يمكننا المساعدة في تحديد نطاق فحوصات القبول وإعداد سجل لما اجتاز الفحوصات أو يحتاج إلى تصحيح. صف مشروعك لـ sapien1
قبل تطبيق تسليم دوري لمجموعة بيانات، قارنه بآخر إصدار قبله فريقك. تحقق مما إذا كانت الملفات الجديدة تستبدل المجموعة المتفق عليها أم تحمل تغييرات انطلاقًا من إصدار محدد. قد تجتاز الملفات الفحوص حتى لو بدأ التحديث من إصدار غير صحيح.
تحقق مما يشمله التسليم الجديد
اطلب معرّف الإصدار ونطاقه وبيان ملفاته. في حالة الاستبدال، أكد نطاق المجموعة الكاملة. أما مجموعة التغييرات، فتحقق من إصدار البداية المطلوب وكيف يميز المورد الإضافات والتحديثات وعمليات الحذف. قد يغيب سجل عن ملف التغييرات لأنه لم يتغير. توضح وثائق AWS Data Exchange كيفية تقديم مجموعات بيانات محدثة بالكامل وإصدارات تتضمن البيانات الجديدة منذ الإصدار السابق. وثائق إصدارات AWS Data Exchange
طابق أسماء الملفات ومجاميعها الاختبارية مع بيان الملفات الذي اتفقتم على استخدامه. ثم تحقق على نحو منفصل من مطابقة إصدار البداية وتغييرات السجلات لاتفاق التسليم. تصف مواصفة BagIt بيانات الملفات والتحقق بالمجاميع الاختبارية. مواصفة BagIt
طبّق التحديث في بيئة مرحلية وتحقق من السجلات الناتجة
في هذا المثال الافتراضي، يستخدم مشترٍ تدفق بيانات فهرس لاختيار سجلات لمجموعة تدريب. تشترط فحوصه مطابقة إصدار البداية بدقة ووجود سجل هدف نشط لكل سجل مدمج تشير إليه مجموعة التدريب. آخر إصدار مقبول هو R12، ومعرّفاته النشطة هي A14 وA27 وA38 وA52. تجتاز الحزمة الأولى للإصدار R13 فحوص الملفات. وهي تشترط R11 إصدارًا للبداية. يواصل المشتري استخدام R12 ويطلب مجموعة تغييرات تبدأ من R12 أو بديلًا كاملًا للنطاق المتفق عليه.
يرسل المورد نسخة تصحيحية هي R13b تحدد R12 إصدارًا للبداية. يفحص المشتري الملفات الجديدة ويطبق التغييرات على نسخة في بيئة مرحلية معتمدة لهذه البيانات.
| السجل | التغيير في R13b أو الحالة المتوقعة | الفحص قبل قبول R13b |
|---|---|---|
A14 | غيّر الموضوع من returns إلى exchanges | تحقق من القيمة القديمة في R12 والقيمة الجديدة في النتيجة المرحلية. |
A27 | ادمجه في A38 | تحقق من خروج A27 من المجموعة النشطة ومن أن المراجع الحالية تشير إلى A38. |
A38 | يظل السجل النشط الباقي | تحقق من وجود السجل الهدف للدمج. |
A52 | غائب عن مجموعة التغييرات | تحقق من بقاء السجل الذي لم يتغير نشطًا. |
A65 | أضف سجلًا | تحقق من ظهور المعرّف الجديد مرة واحدة. |
ينبغي أن تكون المعرّفات النشطة الناتجة A14 وA38 وA52 وA65. لن يكشف عد الصفوف تبدّل المعرّفات، لأن كلا الإصدارين يضم أربعة سجلات نشطة. إذا غاب A38، فسيعلّق المشتري قبول R13b ويطلب من المورد إصلاح المرجع المعطّل. بعد اجتياز الفحوص في هذا المثال، يسجل المشتري قبول R13b وتعليق R13 لعدم تطابق إصدار البداية، إلى جانب قيمة تجزئة بيان الملفات لكل حزمة.
حافظ على إمكانية استخدام المراجع الحالية والتاريخية
اسأل عما إذا كان للسجل المحذوف معرّف بديل باقٍ. يسرد OpenAlex في ملف الحذف معرّفات الأعمال التي اختفت نتيجة دمجها. ويوفر في جدول دمج منفصل المعرّف الحالي الباقي للمعرّفات الواردة فيه، في حدود ما تمكّن من رصده. إذا كان اتفاقك يسمح بالاحتفاظ بالمعرّفات، فوثّق المعرّف المورّد والمعرّف الحالي الذي يشير إليه وإصدار التسليم الذي استخدمته لتحديده. تحقق من أن المعرّف الباقي نشط في ذلك الإصدار. وثائق مزامنة OpenAlex
إذا احتجت إلى إعادة إنشاء مجموعة تدريب سابقة بعد ترحيل جدول، فوثّق محدد الإصدار القديم والمرجع المقترح في النظام الهدف والمنطقة الزمنية والساعة المعتمدة لأي حد زمني. جرّب كلا المحددين في النظامين المعنيين قبل الاعتماد عليهما. في إعادة تشغيل محلية أجرتها sapien1 لجداول Delta فارغة باستخدام Iceberg 1.12.0، ظل الوصول إلى لقطة سابقة ممكنًا عبر وسم إصدارها. لم يجد بحث باستخدام توقيت ملف سجل Delta الثاني إدخالًا مطابقًا في السجل المنشور لـ Iceberg. دراسة ترحيل Iceberg
وثّق القرار للتسليم التالي
وثّق إصدار البداية، والإصدار المستلم، ومعرّف بيان الملفات أو قيمة تجزئته، وفحوص المعرّفات النشطة، وأي مراجع لم تُحل، وقرار القبول أو التصحيح. اسأل المورد عن معنى إشارة الحذف بموجب اتفاقك، واتبع القواعد المطبقة على أي نسخ أو معرّفات تحتفظ بها.
للمساعدة في تحديد فحوص القبول، راسل sapien1 بالبريد الإلكتروني مع ذكر آخر إصدار مقبول، وتنسيق التحديث، والقرار المطلوب.
إذا كنت لا تزال تختار موردًا، فابدأ بدليل كيفية شراء بيانات تدريب الذكاء الاصطناعي. وللمساعدة في تحديد المهمة والبيانات التي تحتاج إليها، اطّلع على توفير البيانات.