انتقل إلى المحتوى الرئيسي

القائمة

تقييم مدى ملاءمة مجموعة بيانات الذكاء الاصطناعي للمهمة

اللغة: العربية

شارك الاستخدام المقصود ومخططا ووصفا للعينة. يمكننا تحديد نطاق مراجعة للتغطية والجودة والأذونات، مع تقديم نتائج توضح الاستخدامات التي تدعمها الأدلة. صف مشروعك لـ sapien1

يهدف تقييم مجموعة البيانات إلى معرفة ما إذا كانت البيانات المتاحة تدعم قرارًا محددًا بشأن التدريب أو الاسترجاع أو التقييم. ابدأ بتحديد المهمة المقصودة، ثم افحص الأمثلة وسياقها ووسومها ومدى تغطيتها وطريقة تقسيمها.

قد تبدو مجموعة الاختبار مكتملة، مثلًا، وهي تحتوي على حالات سبق للنموذج أن رآها أثناء التدريب. يهم ذلك عندما يُراد من الاختبار تقدير الأداء في حالات جديدة. يوضح التقييم المفيد ما فُحص، وما يحتاج إلى إصلاح، وما يمكن أن تدعمه الأدلة المتبقية.

ابدأ بالقرار الذي تريد اتخاذه

دوّن كيف تنوي استخدام مجموعة البيانات. قد تصلح السجلات نفسها لغرض معين وتكون غير كافية لغرض آخر.

الاستخدام المقصودسؤال يستحق الإجابة
التدريب أو الضبط الدقيقهل تصف الأمثلة والوسوم السلوك الذي ينبغي للنموذج أن يتعلمه؟
تقييم نموذج أو وكيلهل يمكن التحقق من النتائج المتوقعة؟ وهل حالات الاختبار مستقلة عن البيانات المستخدمة في تدريب النظام أو ضبطه؟
الاسترجاعهل المحتوى محدّث وقابل للفهم ومتاح للنظام في الوقت الذي يحتاج إليه؟

سجّل إصدار مجموعة البيانات ومصدرها ونطاق تواريخها وحقولها والقيود المعروفة. يمكن أن توثّق بطاقة مجموعة البيانات المحتوى والسياق والبيانات الوصفية. قارنها بالملفات الفعلية وشروط الاستخدام ذات الصلة.

لرؤية مثال عملي على تدقيق التوثيق، انظر إلى مستودع lerobot/svla_so101_pickplace عند المراجعة f641879، التي فُحصت في 17 نوفمبر 2026. يتضمن مثال البيانات الوصفية في بطاقة مجموعة البيانات الحقل codebase_version بالقيمة v2.1 ومسارات ملفات مرتبة حسب حلقات التسجيل. أما البيانات الوصفية الفعلية في المراجعة نفسها فتسجل codebase_version بالقيمة v3.0، وتعرض مسارات لملفات مقسمة إلى أجزاء. ويحتوي دليل البيانات على ملف يتبع نمط التسمية هذا. افحص البيانات الوصفية والملفات في المراجعة التي ستستخدمها قبل الاعتماد على مسار منسوخ من البطاقة. وتظل جودة الأمثلة وملاءمتها للتدريب بحاجة إلى تقييم مستقل.

قبل دمج تسجيلات الروبوتات، تحقّق مما تمثله قنوات الأفعال والحالات، والمدة التي يقابلها عدد ثابت من الخطوات. يعلن كلٌّ من FineART ومجموعة بيانات ALOHA المحاكية النوع aloha، ويمثّل الفعل والحالة بمتجهين من float32، طول كل منهما 14 عنصرًا. يعلن FineART معدل 30 إطارًا في الثانية، وتعلن المجموعة المحاكية 50 إطارًا في الثانية. إذا تقدمت كل خطوة بفاصل إطار واحد حسب المعدل المعلن، امتدت 15 خطوة على 0.5 ثانية في إحدى المجموعتين و0.3 ثانية في الأخرى. افحص التوقيت المسجّل وكيف تختار سلسلة المعالجة الخطوات قبل التعامل مع الفترات الزمنية في المصدرين على أنها متكافئة. البيانات الوصفية لـ FineART · البيانات الوصفية لمجموعة ALOHA المحاكية

افحص تقسيم البيانات والسياق باستخدام مثال عملي

لنفترض أن فريقًا يريد استخدام بيانات دعم موسومة موجودة لديه لاتخاذ قرار إطلاق وكيل يتعامل مع محادثات جديدة. تتضمن البيانات 120 مثالًا، منها 90 للتدريب و30 ضمن مجموعة الاختبار المقترحة. ينبغي أن يتضمن كل مثال معرّف الحالة ومعرّف المحادثة ونسخة سياسة الدعم المعمول بها والإجراء التالي المتوقع.

هذا مثال تخيلي. فحص الفريق حالات الاختبار الثلاثين وقارنها بمجموعة التدريب، فتوصل إلى النتائج التالية.

الفحصالنتيجةأثرها على هذا القرار
الحالات المكررةتأكد أن أربع حالات اختبار نُسخت من حالات في مجموعة التدريب.للحالات الأربع نظائر في مجموعة التدريب.
المحادثات المشتركةلثلاث حالات اختبار أخرى معرّفات مختلفة، لكنها تنتمي إلى محادثات موجودة في مجموعة التدريب.هذه حالات تداخل إضافية بين القسمين في اختبار يُفترض أن يغطي محادثات جديدة.
سياق السياسةتفتقر حالتان من حالات الاختبار الـ23 المتبقية إلى مرجع يحدد نسخة السياسة.لا يتيح السياق المسجّل للمراجع التحقق بعدُ من توافق الإجراءات المتوقعة مع السياسة المعنية.

أشار الفحصان الأولان إلى سبع حالات اختبار مختلفة، فبقيت 23 حالة من دون هذا النوع من التداخل. وتفتقر حالتان من هذه الحالات إلى سياق السياسة، فبقيت 21 حالة اختبار لم ترصد فيها هذه الفحوص مشكلة. وما زال يلزم التحقق من صحة وسومها وكفاية تغطيتها، ومن كون 21 حالة تكفي لاتخاذ قرار الإطلاق.

ينبغي للفريق تعليق استخدام المجموعة الحالية بوصفها اختبار إطلاق مستقلًا للمحادثات الجديدة. اعزل الحالات المشار إليها للمراجعة، واستعد السياق المفقود أو عالج ما ينقصه. تحقّق مما رآه النموذج وفريق التطوير سابقًا. تغيير ترتيب الملفات وحده لا يجعل الحالات المستخدمة سابقًا جديدة. عند إعادة التقسيم، ضع جميع سجلات كل محادثة في قسم واحد، وقارن حالات الاختبار بالبيانات المسجّلة للتدريب واختيار النموذج. إذا تعذّر التحقق من منشأ بيانات التدريب السابقة، فسجّل هذا القيد. وإذا أثرت النتائج السابقة في الضبط، فاحتفظ بحالات جديدة لم تؤثر في تلك القرارات، وأعد التدريب على بيانات مفصولة عند الحاجة.

يوضح دليل Google لتقسيم مجموعات البيانات كيف يمكن لتكرار الأمثلة بين التدريب والاختبار أن يجعل النتائج تبدو أفضل من الأداء الفعلي على أمثلة جديدة. ويوضح دليل scikit-learn للتحقق المتقاطع حسب المجموعات كيف تُحفظ المشاهدات المرتبطة في المجموعة نفسها عند تقييم الأداء على مجموعات غير مسبوقة. ويتوقف تعريف المجموعة على السؤال، فقد تكون محادثة أو عميلًا أو مستندًا. إذا كان اختبار أوصاف الصور يفترض استخدام صور لا تظهر في مجموعة التدريب، فضع جميع أوصاف كل صورة في القسم نفسه. فقد يؤدي تقسيم صفوف الأوصاف كلٌّ على حدة إلى ظهور الصورة نفسها في التدريب والاختبار. ولتقييم الأداء مستقبلًا، استخدم تقسيمًا يراعي الترتيب الزمني حتى لا يتضمن التدريب مشاهدات تلي فترة الاختبار.

لنفترض أيضًا أن الفريق يريد اختبار محادثات جديدة بعد موعد فاصل. في التقسيم الجديد، تظهر سجلات المحادثة A على جانبي هذا الموعد، في حين تظهر أول حالة مسجّلة للمحادثة B بعده. من الخيارات استبعاد A من المجموعتين وتخصيص B للاختبار، بشرط ألا تكون سجلات B قد استُخدمت سابقًا للتدريب أو اختيار النموذج. استخدم للتدريب البيانات السابقة للموعد، وافحص مجموعة الاختبار كلها بحثًا عن أي استخدام سابق. سجّل الحالات المستبعدة وتحقق من تغطية الحالات المتبقية للاستخدام المقصود. ويمكن تقييم المحادثات المستمرة باختبار منفصل يحترم التسلسل الزمني. إذا كان السجل التاريخي ناقصًا، فقد يتعذر التأكد من أن B محادثة جديدة.

قبل اعتبار النسبة غير المحددة جزءًا محتجزًا، تحقّق مما تعيّنه أداة التقسيم فعليًا. على سبيل المثال، عند إعطاء الدالة المساعدة للنسب في LeRobot عند المراجعة 7910c20 الإعداد train: 0.6 ثم test: 0.2، فإنها توزّع كل حلقات التسجيل الخمسين في مجموعة تخيلية، فتخصص 30 للتدريب و20 للاختبار من دون ترك أي حلقة خارج التقسيم. قد تتصرف أدوات أو إصدارات أخرى بشكل مختلف، وقد تتطلب المجموعات الصغيرة تقريبًا أو إعادة توزيع. تحقّق من الحلقات الموجودة فعلًا في كل قسم. وعندما يجب إبقاء المجموعات معًا، اختر قوائم حلقات تحترم ذلك وسجّلها.

تتتبع مذكرة بحثية عن LeRobot كيفية وصول إحصاءات التطبيع المحفوظة إلى معالج Diffusion مُنشأ حديثًا. وتقارن نطاقاتها بملخصات حلقات التدريب في تقسيم افتراضي يحتجز جزءًا من البيانات. تحقّق من مصدر الإحصاءات التي يحمّلها معالجك والبيانات التي تغطيها.

راجع الوسوم والتغطية

في البيانات الموسومة، قارن عينة من الإجابات المتوقعة بالتعليمات والأدلة المستخدمة في إنتاجها. يمكن لمراجع متخصص أن يحقق في السياق المفقود والوسوم غير المتسقة والحالات التي يكون فيها الجواب الصحيح ملتبسًا بالفعل. سجّل مواضع الخلاف وكيف حُلّت. اتفاق المراجعين مفيد، وتظل صحة الوسم بحاجة إلى دليل. تتناول أبحاث إدارة جودة الوسم المراجعة وقياس الاتفاق والتحكيم باعتبارها مراحل منفصلة.

تحتاج الوسوم الرقمية للفئات إلى خريطة تربط كل معرّف باسم الفئة وتعريفها. قارن التعريفات والمعرّفات بين إصدارات مجموعة البيانات وأقسامها، وطابقها مع الخريطة التي يتوقعها النموذج. وثّق أي تحويل، وكيف تتعامل مع الفئات المفقودة أو المدمجة. يشير دليل مجموعات البيانات في Ultralytics Platform إلى أن دمج الفئات أو حذفها قد يغيّر المعرّفات اللاحقة، وقد تصبح ملفات التصدير القديمة غير متوافقة مع القائمة المحدّثة. تحقّق من الخريطة في ملفاتك المصدّرة وفي سلسلة المعالجة لديك.

تحقّق من تغطية مجموعة البيانات للحالات المهمة للاستخدام المقصود، مثل الطلبات الشائعة والاستثناءات المهمة واللغات والفترات الزمنية وغيرها من المجموعات ذات المعنى. قد تحتاج المجموعة ذات الأمثلة القليلة إلى مزيد من البيانات أو تحليل مستقل. ويمكن أن يختلف العدد المناسب من مجموعة إلى أخرى.

وثّق كيفية اختيار أمثلة المراجعة. قد تفيد الأمثلة المنتقاة يدويًا في كشف مشكلة، لكن معدل الأخطاء فيها لا يمثل معدل أخطاء مجموعة البيانات كلها. يشرح دليل Google لأخذ العينات كيف يمكن لطريقة الاختيار أن تحرّف الاستنتاجات حول مجموعة أكبر.

حتى العينة العشوائية قد تفوّت أخطاء. افترض أن دفعة تخيلية منفصلة تتكون من 120 سجلًا، وأن وسوم ستة سجلات غير صحيحة. عند اختيار 20 سجلًا مختلفًا عشوائيًا وباحتمالات متساوية، تخلو العينة من السجلات الستة في نحو 33% من المرات. اختيار 47 سجلًا يخفض احتمال تفويت الأخطاء الستة كلها إلى أقل من 5%، إذا تعرّف المراجعون على كل وسم خاطئ ضمن السجلات المختارة. يفترض هذا المثال التخطيطي وجود ستة أخطاء. والعينة الخالية من الأخطاء لا تثبت أن عددها ستة بالضبط أو أن بقية السجلات خالية من الأخطاء. اختر حجم العينة وفقًا لتكرار الأخطاء واحتمال تفويتها اللذين يهمان قرارك، وسجّل كيف اختيرت الأمثلة ورُوجعت. تتناول مقدمة NIST لأخذ العينات طريقة الاختيار وحجم العينة، وتشرح أبحاث جودة الوسم تقدير الجودة إحصائيًا وأخذ العينات لأغراض القبول.

مقارنة درجات القراءة بين اللغات

حدّد ما الذي يحتاج إلى تغيير

حوّل النتائج إلى إجراءات يستطيع الفريق تنفيذها.

  • أصلح. استعد السياق المفقود، أو صحّح الأخطاء المؤكدة، أو حدّث تعليمات الوسم، ثم أعد فحص السجلات المتأثرة.
  • قيّد الاستخدام. استخدم المجموعة فقط للمهام أو الشرائح التي تستطيع دعمها، ووثّق الثغرات المعروفة.
  • أجّل الاستخدام. لا تستخدم المجموعة للتدريب المقصود أو قرار الإطلاق حتى تُحل المشكلة الجوهرية.
  • أضف بيانات. اجمع أو وفّر حالات للمواقف الغائبة، أو أنشئ مجموعة اختبار جديدة لم تُستخدم للتدريب أو الضبط.

اجعل النسخة الأصلية والنسخة المعدّلة قابلتين للتمييز. سجّل الفحوص وطريقة الاختيار والنتائج وقرارات المراجعين والأسئلة المعلّقة حتى يفهم فريق آخر ما الذي تغيّر ولماذا.

تحقّق من مجموعة بيانات Parquet أُعيدت كتابتها

عند إعادة كتابة ملفات Parquet المُسلّمة، حدّد الخصائص التي ينبغي أن تحتفظ بها الملفات الجديدة للمهمة. سجّل إصدارات الملفات الأصلية والمعدّلة، ونفّذ الفحوص بأداة القراءة التي يستخدمها فريقك في المراحل اللاحقة. تستخدم الأمثلة التالية بيانات تخيلية.

  • حقول المصدر. احفظ المخطط الأصلي لكل ملف عندما تحتاج إلى تمييز الحقل الغائب من القيمة الفارغة الصريحة null. في مثال DuckDB 1.4.4، أدى تبديل المصدر الذي أغفل الحقل إلى ملفات دمج متطابقة حتى مع الاحتفاظ بأسماء المصادر. وأظهرت المخططات الأصلية كلا التغييرين. دمج المخططات في DuckDB
  • اقتران الحالات بالوسوم. تأكّد من وجود معرّفات الحالات وأنها فريدة. وطابقها مع القائمة المتوقعة، وقارن الوسوم حسب المعرّف. في مثال من ثمانية صفوف، حافظت عمليتا إعادة كتابة على البيانات الوصفية نفسها في ذيل الملف والأعداد نفسها لكل وسم. وفي إحداهما، انتقل وسمان إلى حالتين مختلفتين. أما في الأخرى، فتغيّر ترتيب الصفوف كاملةً وبقيت كل حالة مقترنة بوسمها. بنية ملفات Parquet
  • القيم بعد فك الترميز. تحقّق من النوع المنطقي وقارن القيم التي ستقرأها. في مثال الأعداد العشرية، حوّل تغيير المقياس من 2 إلى 3 القيمة 12.34 إلى 1.234، مع ثبات الأعداد الصحيحة المخزنة وبايتات كتلة العمود. مواصفة أعداد Parquet العشرية
  • التواريخ المحلية. عندما يجمع تقرير الأحداث حسب اليوم المحلي، قارِن يوم كل حدث في المنطقة الزمنية المتفق عليها. في مثال PyArrow 26.0.1، احتفظ حدثان بوقتيهما الأصليين بعد إعادة الكتابة من دون بيانات مخطط Arrow الوصفية. وعند القراءة بتوقيت UTC وقع الحدثان في 1 يوليو، بينما أعادت منطقة نيويورك المتفق عليها تصنيفهما في 30 يونيو و1 يوليو. خيارات الكتابة في PyArrow

استند في كل فحص إلى الخاصية المتفق عليها. عندما يُسمح بتغيير الترتيب، تجتاز إعادة الترتيب التي تحافظ على الاقتران فحص الحالات والوسوم. وإذا كان العقد يتطلب إثبات الحقول الموجودة في كل مصدر وتعذّر الحصول على المخططات الأصلية، فأجّل هذا الفحص حتى تستعيد الدليل.

تحقّق من تحويل بيانات COCO

عند تحويل مجموعة COCO لاكتشاف الأجسام، قارن خريطة معرّفات الصور الأصلية بخريطة المعرّفات بعد التصدير. تأكّد من أن لكل صورة أصلية معرّفًا رقميًا مميزًا في التصدير، وأن التعليقات التوضيحية والتنبؤات ما زالت تشير إلى الصورة المقصودة. عند تهيئة خريطة معرّفات محفوظة، يحوّل مصدّر FiftyOne الذي اختُبر 01 و1 إلى العدد الصحيح نفسه. ويحتفظ فهرس COCO الذي اختُبر بآخر صف صورة لذلك المعرّف، ويجمع التعليقات التوضيحية تحته. عالج المعرّفات المكررة قبل حساب النتائج. مصدّر FiftyOne · فهرس COCO

احتفظ بالمعرّفات الأصلية إن أمكن. وإذا كان لا بد من تغييرها، فحافظ على ترتيبها الرقمي النسبي وأعد حساب متوسط الدقة (AP) على البيانات الأصلية والمحوّلة. استخدم مراجعة المقيّم نفسها والإعدادات نفسها ودرجات التنبؤ من دون تقريب، واربط التنبؤات بالصور المناظرة في كل تشغيل. أدرج اختبارًا صغيرًا لنتيجتي اكتشاف من الفئة نفسها وبدرجة ثقة متساوية على صورتين مختلفتين. ينبغي أن تطابق إحداهما وسم الحقيقة المرجعية، وأن تكون الثانية إيجابية كاذبة. يرتّب مقيّم COCO المختبَر معرّفات الصور ويحافظ على ترتيبها عند تساوي الدرجات بين الصور. لذلك قد تغيّر إعادة الترقيم قيمة AP حتى إذا ظلت مطابقات الاكتشاف كما هي. افحص أي اختلاف في الدرجات وعالجه قبل مقارنة النسختين. ترتيب الصور في COCO · تراكم الدرجات في COCO

تساعد sapien1 الفرق في تقييم مجموعات البيانات والتخطيط للتقييم وفق ما يحتاج نظام الذكاء الاصطناعي إلى إنجازه. بعد مراجعة البيانات، اطّلع على دليل تقييم الوكلاء. وإذا أظهرت المراجعة نقصًا في البيانات، يمكن أن يساعدك دليل توفير البيانات في تحديد ما ينبغي البحث عنه.