انتقل إلى المحتوى الرئيسي

القائمة

كيفية شراء بيانات تدريب الذكاء الاصطناعي

اللغة: العربية

أخبرنا بما يحتاج نموذجك إلى تعلمه وكيف ستحدد ما إذا كانت العينة مفيدة. يمكننا مناقشة المصادر المناسبة والأدلة التي ينبغي مراجعتها قبل اتخاذ قرار بشأن ترخيص مجموعة. صف مشروعك لـ sapien1

يمكنك ترخيص مجموعة بيانات موجودة، أو التعامل مباشرة مع مالك بيانات، أو تكليف جهة بجمع بيانات لمهمة محددة. قبل الالتزام، حدد ما يحتاج النموذج إلى تعلمه، واختبر عينة في ضوء هذا المتطلب، وتحقق مما إذا كانت الشروط المقترحة تغطي الاستخدام المقصود.

السؤال المفيد لا يقتصر على «ما حجم البيانات المتاحة؟». بل يشمل أيضا ما إذا كانت السجلات تحتوي على الأمثلة والسياق اللذين يستطيع فريقك استخدامهما، وما إذا كان الترخيص المتفق عليه يغطي الأشخاص والأنظمة والأغراض المعنية.

اختر من أين تحصل على البيانات

الطريقةمتى ينبغي النظر فيهاما الذي ينبغي السؤال عنه أولا
مجموعة بيانات موجودةتحتاج إلى مجموعة قد تكون موجودة بالفعل.ما الإصدار والحقول والفترة الزمنية وشروط الاستخدام المشمولة؟
اتفاق مباشر مع مالك البياناتتحتفظ مؤسسة واحدة بسجلات أو محتوى ذي صلة.من يملك صلاحية الإذن بالاستخدام المقترح، وما المواد التي يشملها نطاق الاتفاق؟
جمع مخصص أو إعداد مخصصتفتقر المواد الموجودة إلى سيناريوهات أو تنسيقات أو تسميات مهمة.ما الذي سيُجمع أو يُعد، وكيف ستُفحص الجودة، وما الذي يمكنك استخدامه بعد ذلك؟
مجموعة بيانات عامةقد تلائم مجموعة متاحة المهمة أو توفر أساسا أوليا للمقارنة.ماذا تقول وثائقها عن المصدر والقيود والاستخدام المسموح به؟

على سبيل المثال، يعرض Opendatabay سوقا لقوائم مجموعات البيانات، بينما يصف Clickworker خدمات جمع البيانات والتعليق التوضيحي المخصصة. هذه نقاط انطلاق للبحث؛ تحقق من العرض والشروط الخاصة بالبيانات التي تحتاج إليها.

يتناول دليل الحصول على البيانات كيفية وصف المهمة ونطاق التغطية والتنسيق قبل التواصل مع مصدر للبيانات.

حدد ما يجب أن يتضمنه كل مثال

دوّن السلوك المقصود والمعلومات اللازمة لتقييمه. بالنسبة إلى وكيل دعم، قد يحتاج السجل إلى تضمين طلب العميل والسياسة السارية في ذلك الوقت والإجراء المتخذ والنتيجة. أما بالنسبة إلى نموذج للمستندات، فقد تكون الحقول المهمة هي صور الصفحات والنص المستخرج والتخطيط والتسميات المتحقق منها.

إذا تضمنت عينة مستند مربعات تحمل تسميات، فتحقق من محاذاة المربعات للصور المسلّمة. تعبّر بعض التنسيقات عن المواضع في صورة كسور من أبعاد الصفحة، بينما تستخدم تنسيقات أخرى البكسلات. تحقق من الصفحة وإصدار الصورة والوحدات وأصل الإحداثيات وأي تغيير في الحجم أو قص أو تدوير، ثم ضع مربعات العينة فوق الصور للتحقق من المحاذاة. راجع أيضا ما إذا كانت التسميات تصف المناطق الصحيحة.

اطلب وصفا للإصدار المحدد من مجموعة البيانات: مصدره وحجمه ووحداته والفترة الزمنية التي يغطيها وتنسيقاته وتسمياته والاستثناءات المعروفة وسجل معالجته. يوضح دليل Hugging Face لبطاقات مجموعات البيانات كيف يمكن للبطاقة توثيق المحتويات والسياق والبيانات الوصفية مثل الترخيص واللغة والحجم. تعامل مع هذه الحقول بوصفها معلومات ينبغي مراجعتها إلى جانب الوثائق الأصلية.

اختبر عينة في ضوء متطلباتك

اتفق على عينة والفحوص اللازمة قبل اتخاذ قرار بتوسيع نطاق العمل. ضمّن الحالات المعتادة التي سيواجهها النموذج والحالات الصعبة المهمة للمهمة. سجل كيفية اختيار العينة وأجزاء المجموعة المقترحة التي تمثلها.

تقيّد شروط سوق Origin Lab، التي تمت مراجعتها في 18 نوفمبر 2026، استخدام عينات السوق المعرّفة فيها بالتقييم الداخلي، وتحظر استخدامها لاختبار نظام ذكاء اصطناعي أو تقييمه، ما لم ينص اتفاق تجاري سار أبرمته Origin Lab صراحة على خلاف ذلك. ولا يشمل هذا القيد على العينات مواد Bench Materials المعرّفة بصورة منفصلة، إذ تخضع لشروطها الخاصة. تحقق من الشروط المحددة للعينة وأي اتفاق قبل فحصها أو اختبارها أو التدريب عليها أو مشاركتها.

بالنسبة إلى عينة كلام تتضمن طوابع زمنية للكلمات، اسأل عن التسجيل ووحدة الزمن المستخدمين. إذا كانت الطوابع الزمنية تشير إلى نسخة أزيل منها الصمت، فاطلب معرّف التسجيل المصدر وخريطة تربط المقاطع المحتفظ بها بالخط الزمني الأصلي. افحص كلمة بعد موضع قطع داخلي. في عينة افتراضية تصل بين الثواني 2–4 و7–9 من المصدر دون إضافة فاصل زمني، تقابل 2.5 ثانية في العينة 7.5 ثانية في المصدر. أما إضافة إزاحة المقطع الأول البالغة ثانيتين فتعطي 4.5 ثانية، وهي تقع داخل الفجوة المحذوفة. ربط الطوابع الزمنية في NeMo Curator

تحقق من كيفية تمييز البيانات المسلّمة للكلمات التي تعبر طوابعها الزمنية موضع وصل. في العينة الافتراضية نفسها، اختارت الدالة المساعدة المختبرة في faster-whisper إزاحة واحدة لطرفي فترة تعبر موضع الوصل، ووضعت بدايتها داخل الفجوة المحذوفة. إذا كان استخدامك يتطلب فترة متصلة في التسجيل الأصلي، فاتفق على كيفية تحديد تلك الحالات ومراجعتها قبل قبولها. استعادة الطوابع الزمنية في faster-whisper · حساب الإزاحة في faster-whisper

تأمل هذا المثال الافتراضي. يريد فريق إجراء ضبط دقيق لوكيل دعم يوصي بالخطوة التالية لطلب إرجاع. يقترح مورد مجموعة من حالات الدعم. يطلب الفريق 12 مثالا تشخيصيا: ست حالات إرجاع اعتيادية وست حالات استثنائية. في هذه المراجعة الأولى، يشترط أن يتضمن كل مثال طلب العميل ورابطا إلى إصدار السياسة الذي كان ساريا والنتيجة المسجلة.

الفحصمتطلب هذه العينةالنتيجة التوضيحية
طلب العميلموجود في الأمثلة الاثني عشر جميعهاموجود في 12 من أصل 12
إصدار السياسة الساريمرتبط في الأمثلة الاثني عشر جميعهاموجود في 10 من أصل 12؛ تفتقر حالتان استثنائيتان إلى الرابط
النتيجة المسجلةموجود في الأمثلة الاثني عشر جميعهاموجودة في 11 من أصل 12؛ تفتقر حالة اعتيادية واحدة إلى نتيجة

لا تجتاز العينة اثنين من الفحوص التي حددها الفريق. تتمثل الخطوة التالية في السؤال عما إذا كان بالإمكان استرداد روابط السياسات والنتيجة المفقودة، ومراجعة عينة مصححة. إذا تعذر ذلك، يمكن للفريق تغيير متطلبه أو البحث عن مصدر آخر. والنتيجة المسجلة ليست بالضرورة قرارا صحيحا؛ لذا ينبغي أيضا أن يقارن مراجع مختص بالمجال النتائج بالسياسة السارية.

تصف هذه الأعداد الحالات الاثنتي عشرة المختارة فقط. وهي لا تقدّر معدل الخطأ في المجموعة الكاملة. لتقييم نطاق التغطية الأوسع، اسأل عن توزيع مجموعة البيانات على السيناريوهات ذات الصلة، واتفق على عينة إضافية تُسحب وفق طريقة موثقة. يوضح دليل Google بشأن جودة البيانات وأخذ العينات لماذا قد تعطي عينة مختارة صورة مضللة عن مجتمع أكبر.

افترض أن الحالات الاثنتي عشرة جاءت جميعها من عام 2024، لكن المجموعة المعروضة تغطي الفترة 2022–2024. يمكن لفحص نسخة مصححة أن يؤكد إصلاحات تلك الحالات؛ لكنه لا يبيّن ما إذا كان قد تم تصحيح بقية المجموعة. اسأل عن إصدار مجموعة البيانات والسجلات التي شملها التصحيح، ثم اتفق على كيفية اختيار عينة جديدة من الإصدار الذي تنوي شراءه. إذا كانت مراجعة بيانات عام 2024 وحدها ممكنة، فاترك بيانات 2022–2023 دون تقييم وقرر ما إذا كنت ستقلّص نطاق الشراء أو تنتظر مراجعة أوسع.

إذا تعذرت مشاركة سجلات حقيقية للمراجعة الأولية، فاسأل عما إذا كانت عينة منقّحة أو إتاحة مقيدة ممكنة. قد يوضح مثال اصطناعي التنسيق، لكنه لا يمكن أن يثبت جودة المجموعة الفعلية أو نطاق تغطيتها.

اتفق على كيفية فرض قيود الوصول قبل استلام عينة: فالاستعلام الذي يختار أعمدة معينة لا يقيّد، بمفرده، الوصول إلى بقية الملف الأصلي. ويمكن أن يحتوي تذييل Parquet أيضا على إحصاءات للأعمدة. إذا احتاج المرسل إلى تحديد ما يُنقل خارج نطاقه، ففكر في عينة معدّة بشكل منفصل تتضمن الحقول المعتمدة، أو في خدمة تفرض قيود الوصول على مستوى الحقول. راجع البيانات الوصفية وضوابط الوصول إلى جانب السجلات المُعادة.

تحقق من أوجه الاستخدام المسموح بها للبيانات

طابق الاتفاق والوثائق الداعمة مع مجموعة البيانات والمشروع المحددين. تشمل الأسئلة التي ينبغي مناقشتها مع المورد والمسؤولين عن المراجعة القانونية ومراجعة المشتريات ما يلي:

  • ما إصدار مجموعة البيانات المشمول، وهل يملك المورد صلاحية منح الإذن بالاستخدام المقترح؟
  • هل يشمل الاتفاق التدريب أو الضبط الدقيق أو التقييم أو الاسترجاع عند الحاجة؟ وهل تتناول الشروط النشر التجاري وأي قيود ذات صلة على النماذج أو المخرجات؟
  • من يمكنه الوصول إلى البيانات أو معالجتها، بما في ذلك المتعاقدون أو مقدمو الخدمات؟ وما شروط التسليم والتخزين والاحتفاظ والحذف؟
  • هل توجد استثناءات أو حقوق لأطراف سابقة في سلسلة المصدر أو مواد تخص أطرافا ثالثة أو قيود أخرى تحتاج إلى مراجعة؟ وما الأدلة المتاحة لدعم ما يذكره المورد عن منشأ البيانات والتصاريح المتعلقة بها؟

دوّن بشكل منفصل ما تم تأكيده وما لا يزال بحاجة إلى مراجعة. تساعد تسمية الترخيص أو بطاقة مجموعة البيانات على تحديد استخدام يُدّعى السماح به؛ لكنها لا تتحقق بمفردها من الحقوق الأصلية. وجد تدقيق لمجموعات بيانات عامة للنصوص والكلام والفيديو اختلافات بين أوصاف التراخيص على مستوى مجموعات البيانات والقيود المرتبطة بمحتوى المصدر. وتتعلق نتائجه بمجموعات البيانات العامة التي فُحصت، لا بكل مجموعة تجارية.

على سبيل المثال، تصف بطاقة مثبتة لمجموعة بيانات البحث العامة SciFact مجموعة البيانات بأنها مرخصة بموجب CC BY-NC 2.0، وتتضمن رابطا إلى ملف ترخيص على فرع master في المستودع، وهو ملف قد يتغير. وفي لقطة مثبتة لذلك الترخيص، يصف المستودع بشكل منفصل ترخيص CC BY 4.0 للادعاءات والتعليقات التوضيحية للأدلة، وترخيص ODC-By 1.0 لملخصات متن البيانات، وترخيص Apache 2.0 للشيفرة. قد تصف الوثائق إصدارات أو مكونات أو تحويلات مختلفة؛ وهي لا تحدد بمفردها الشروط التي تنطبق على ملف معين. اربط الملفات المسلّمة ومكوناتها الأصلية بالوثائق ذات الصلة، وأحِل أسئلة الحقوق التي لم تُحسم إلى المراجعة.

خطط للتقييم والتسليم

حدد كيفية تسليم البيانات وقبولها: تنسيقات الملفات، وبيان المحتويات أو معرّف الإصدار، والوثائق، وفحوص العينة، وكيفية تصحيح المشكلات. إذا كانت البيانات ستُستخدم أيضا لتقييم نموذج، فاحمِ مجموعة اختبار منفصلة من استخدامها في التدريب، وتحقق من عدم وجود نسخ مكررة بين أقسام البيانات. يوضح دليل Google لتقسيم مجموعات البيانات كيف يمكن للنسخ المكررة أن تجعل نتائج الاختبار تبدو أقوى مما هي عليه.

تحقق من موعد بدء مهلة الفحص، وكيفية تقديم الإشعار، وما يعنيه عدم الرد، وما سبل المعالجة المتاحة. على سبيل المثال، يمنح الإصدار 1.0 من ترخيص ai.market القياسي لتدريب الذكاء الاصطناعي المشتري سبعة أيام تقويمية بعد التسليم الأول لإخطار السوق بوجود اختلاف جوهري عن القائمة المعروضة. وتمنح الشروط الرئيسية لـ micro1، المحدّثة في 12 نوفمبر 2026، شركة micro1 بصفتها المرخّص له 30 يوم عمل بعد اكتمال التسليم وفقا لبيان المحتويات لرفض البيانات كتابيا. وتنطبق نقطة بدء منفصلة إذا أخطرها المورد كتابيا بتعذر تسليم البيانات المتبقية. تنطبق الوثيقتان على معاملات مختلفة وتتضمنان شروطا واستثناءات إضافية. راجع الشروط والإصدار اللذين يحكمان طلبك.

يمكن أن يسرد بيان المحتويات الملفات المتوقعة وقيم المجموع الاختباري لإصدار مجموعة البيانات المتفق عليه. اتفق على كيفية التحقق من مصدر البيان، ومقارنة قائمة ملفاته بما وصل، والتحقق من الملفات المفقودة أو غير المتوقعة أو غير المطابقة. على سبيل المثال، إذا أدرج بيان افتراضي ملفين ولم يصل سوى ملف واحد، فإن تطابق المجموع الاختباري لذلك الملف لا يجعل التسليم مكتملا. تميّز مواصفة BagIt بين اكتمال المحتويات والتحقق من المجموع الاختباري لأحد تنسيقات حزم البيانات. يشير تطابق المجموع الاختباري إلى أن البصمة المحسوبة للملف تتفق مع ما ورد في البيان؛ لكنه لا يثبت بمفرده هوية المرسل أو صحة التسميات أو تمثيل التغطية أو حقوق استخدام البيانات. راجع هذه الجوانب بشكل منفصل.

عندما يرسل المورد الإصدار التالي، راجع كيفية قبول عمليات التسليم المتكررة لبيانات الذكاء الاصطناعي.

للاطلاع على مثال تفصيلي لفحص تسرّب بيانات مجموعة الاختبار والسياق المفقود، راجع دليل تقييم مجموعات البيانات.

تساعد sapien1 الفرق على تحديد نطاق متطلبات البيانات، وتحديد المصادر المحتملة، وتقييم العينات. ابدأ بالمهمة والأمثلة التي تحتاج إليها والقرار الذي يجب أن تدعمه العينة. ويمكن لمالكي البيانات الذين يستعدون للمناقشة استخدام دليل الاستعداد لترخيص البيانات.