انتقل إلى المحتوى الرئيسي

القائمة

أبحاث

يمكن لحجز حلقات LeRobot للتقييم استخدام إحصاءات تطبيع أوسع نطاقًا

اللغة: العربية

يمكن للفريق فصل حلقات الروبوت للتقييم مع الاستمرار في استخدام إحصاءات معالجة مسبقة يمتد نطاقها إلى ما وراء حلقات التدريب. تتبّعنا أحد مسارات التدريب في LeRobot وفحصنا لقطة عامة للبيانات الوصفية. في تقسيم افتراضي يضم 40 حلقة تدريب و10 حلقات تقييم، تمتد نطاقات الحالة والإجراء المحفوظة إلى ما وراء نطاقات حلقات التدريب في ثلاثة أبعاد من أصل ستة لكل منهما. هذه مقارنة للبيانات الوصفية المحفوظة، وليست رصدًا لتشغيل تدريبي أو نتيجة لأداء نموذج. وهي توضح سبب ضرورة أن تشمل مراجعة الحلقات المحجوزة للتقييم الإحصاءات المقدمة إلى المعالج، إلى جانب قائمة الحلقات.

التقسيم والإحصاءات قراران منفصلان

في إصدار LeRobot ذي المراجعة 7910c20، يجمع إعداد eval_split الحلقات المختارة بحسب أول مهمة مدرجة لكل منها، ويخصص آخر ceil(group size × eval_split) من كل مجموعة للتقييم. لا يتضمن الإعداد الافتراضي تقسيمًا للتقييم؛ أما المثال أدناه فيضبط واحدًا عمدًا. تنشئ الشيفرة كائنين منفصلين لمجموعتي بيانات التدريب والتقييم باستخدام قوائم الحلقات وجذر مجموعة البيانات نفسه والمراجعة نفسها.

يحمّل محمل البيانات الوصفية لمجموعة البيانات الملف meta/stats.json بصورة منفصلة. وفي مسار التدريب الذي فحصناه، تتلقى سياسة Diffusion جديدة، غير مستأنفة ولا تملك مسار معالج مدرّب مسبقًا، إحصاءات البيانات الوصفية لمجموعة البيانات عند بناء معالجاتها. يستخدم إعداد Diffusion الافتراضي تطبيع الحد الأدنى والأقصى للحالة والإجراء. يقتصر تتبّع الشيفرة على ذلك الإعداد والإصدار؛ وقد تختلف السياسات الأخرى والإعدادات البديلة والمعالجات المدرّبة مسبقًا أو المستأنفة والصيغ والإصدارات.

تقسيم مختار للحلقات والمسار المنفصل للإحصاءات المحفوظة إلى أداة تطبيع Diffusion جديدة
عرض الشكل بالحجم الكامل

لم نشغّل محمل مجموعة البيانات أو أي سياسة. يصف المخطط مسار الشيفرة الذي فحصناه في ظل الشروط المذكورة، ولا يوثق تشغيلًا فعليًا.

مثال من البيانات الوصفية

تصف اللقطة العامة لمجموعة lerobot/svla_so101_pickplace عند المراجعة f641879 عدد 50 حلقة و11,939 إطارًا. تشترك سجلات الحلقات الخمسين جميعها في مفتاح التجميع نفسه للمهمة الأولى. إذا لم تُحدد أو تُستبعد حلقات مسبقًا وكان eval_split=0.2، فستخصص القاعدة التي فحصناها 40 حلقة للتدريب و10 للتقييم. وتُظهر ملخصات هذه الحلقات 9,180 و2,759 إطارًا على التوالي.

تسجل إحصاءات observation.state وaction المحفوظة عددًا يبلغ 11,939 لكل منهما. وتتطابق مصفوفات الحد الأدنى والأقصى فيها مع مجموع ملخصات الحلقات الخمسين جميعها ضمن تفاوت مطلق ونسبي قدره 1e-6. وبالمقارنة المباشرة مع القيم القصوى المجمّعة من حلقات التدريب الأربعين الافتراضية، تمتد النطاقات المحفوظة إلى مدى أبعد في ثلاثة أبعاد من أصل ستة لكل سمة. ويظل عدد الأبعاد كما هو عند اشتراط أن يتجاوز الفرق حد math.isclose بتفاوت نسبي ومطلق قدره 1e-6.

السمةالأبعاد التي يمتد فيها النطاق المحفوظ إلى ما وراء نطاق حلقات التدريبأضيق نطاق لحلقات التدريب كنسبة من النطاق المحفوظ
observation.state3 من 684.3%
action3 من 684.2%
أضيق نطاق لحلقات التدريب مقارنة بالنطاق المحفوظ: 84.3% للحالة و84.2% للإجراء
عرض الشكل بالحجم الكامل

تمثل كل نسبة مئوية أدنى نسبة لعرض النطاق بين الأبعاد الستة لتلك السمة؛ ولا يلزم أن يصف الصفان البعد نفسه. تقارن الأشرطة العروض، لا مواضع بداية النطاقات أو نهايتها. يشمل حساب الحلقات الأربعين جميع الإطارات المسجلة لتلك الحلقات. وقد تستبعد عملية أخذ العينات الفعلية إطارات من النهاية أو تسحب نوافذ عينات أو تستخدم قواعد اختيار أخرى، لذا فهذا ليس قياسًا للمواضع التي يستخدمها محسّن فعلي.

توسّع ملخصات الحلقات المحجوزة أيضًا النطاق المجمّع لجميع الحلقات إلى ما وراء النطاق المجمّع لحلقات التدريب الأربعين في ثلاثة أبعاد لكل سمة. وتتطابق الإحصاءات المحفوظة مع مجموع الحلقات جميعها ضمن التفاوت المذكور، لكننا لم نتحقق بصورة مستقلة من كيفية إنشاء الملف المحفوظ أو من ملفات الإطارات الأساسية. إذا قُدمت تلك النطاقات المحفوظة إلى معالج الحد الأدنى والأقصى الجديد الموصوف أعلاه، فقد تغيّر الحدود الأوسع مقياسه. لا يبيّن المثال ما حمّلته أي مهمة سابقة، أو ما إذا كانت مجموعة بيانات مناسبة لسياسة ما، أو ما إذا تغيرت نتيجة تقييم.

التحقق من نطاق إعادة الحساب

التوجيه المتعارف عليه هو ملاءمة المعالجة المسبقة المعتمدة على البيانات مع مجموعة التدريب، ثم تطبيق التحويل الناتج بصورة متسقة على بيانات التقييم. يشرح نقاش Scikit-learn حول تسرب البيانات المبدأ العام. وأثارت مسألة سابقة في LeRobot أيضًا مخاوف بشأن الإحصاءات الشاملة والتحقق؛ ولا يتحقق فحصنا من سلوك الروبوت المذكور في تلك المسألة ولا يشخّص سببه. وتميّز بطاقة أخرى لمجموعة بيانات SO-101 بالفعل بين إحصاءات التدريب فقط والبيانات الوصفية لمجموعة البيانات الكاملة لأغراض تقييم مضبوط. لم نفحص أعداد تلك المجموعة أو ملفاتها.

افحص مسار إعادة الحساب بالعناية نفسها المخصصة للتقسيم. في الإصدار المحدد، تستخدم الأداة المساعدة recompute_stats افتراضيًا مسارًا للبيانات الرقمية يفحص ملفات Parquet ضمن جذر مجموعة البيانات ويمر على فهارس حلقاتها دون مرشح مباشر dataset.episodes. إذا كانت تلك الملفات لا تزال تضم قسمي البيانات، فإن تمرير كائن اختيرت حلقاته وحده لا يثبت أن الإحصاءات الرقمية مقتصرة على التدريب. تكتب الأداة الإحصاءات إلى ذلك الجذر وتحتفظ بالإحصاءات الموجودة للسمات التي لا تعيد حسابها؛ ويتجاوز إعدادها الافتراضي سمات الصور والفيديو. لم نشغّل الأداة أو نعدّل مجموعة بيانات. وتنص سلسلة التوثيق الخاصة بها بالفعل على أنها تمر على جميع الحلقات، ويصف دليل أدوات مجموعات البيانات عملية إعادة الحساب.

قبل اعتبار نتيجة الحلقات المحجوزة مستقلة، سجّل معرّفات الحلقات المختارة ومراجعة مجموعة البيانات ومصدر كل إحصاء ونطاق سماته وإعداد المعالج المستخدم فعليًا. تحقّق من أن أي حساب مقترح يقتصر على التدريب يقرأ الصفوف المقصودة، وأعد استخدام التحويل المناسب المستمد من التدريب للتقييم. افحص سمات الصور والفيديو والإجراءات النسبية كلًا على حدة، فقد تسلك مسارات مختلفة. قد يمتلك المعالج المدرّب مسبقًا أو المستأنف إحصاءاته المحفوظة الخاصة، لذا افحص نقطة التحقق الفعلية والإعدادات البديلة بدلًا من افتراض سلوك هذا المثال.

كيف أجرينا الفحص

قرأنا الشيفرة المحددة دون استيراد LeRobot أو تشغيله. يتحقق البرنامج النصي للتحليل من بصمات الشيفرة المصدرية، وينزّل جدول البيانات الوصفية الصغير مؤقتًا، ويحسب التقسيم الافتراضي ومقارنات الحد الأدنى والأقصى باستخدام DuckDB 1.4.4. ويحذف الجدول المؤقت بعد التشغيل المعتاد. لا تحتفظ النتائج المجمّعة بتسميات المهام أو معرّفات الحلقات الفردية أو إحصاءات كل حلقة. وتحتوي حزمة فاحص الشيفرة المصدرية على برنامج نصي يتحقق من بُنى مختارة في الشيفرة المحددة دون تشغيل الشيفرة الأصلية، إلى جانب ترخيص المصدر الأصلي ونسبته. ويعيد مولّد الأشكال إنتاج المخططين من النتائج المجمّعة. لم تُستخدم تسجيلات أو إطارات خام أو نموذج أو أي مهمة تدريب أو قياس معياري.

لإعادة إجراء التحليل على macOS أو Linux باستخدام Python 3.11 وDuckDB 1.4.4:

python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py

تصنّف بطاقة مجموعة البيانات المحددة ترخيصها على أنه Apache-2.0؛ ولا تحسم هذه التسمية حقوق كل أصل من الأصول الأساسية. يشير فاحص الشيفرة المصدرية إلى تعبيرات قصيرة من LeRobot؛ ويتضمن ملف الحزمة الترخيص المحدد وإشعار حقوق النشر ونسبتها. تتيح sapien1 مساهماتها الأصلية في البرامج النصية للتنزيل والتشغيل محليًا؛ ولم يُذكر ترخيص إضافي لتعديل تلك المساهمات أو إعادة توزيعها. شروط مجموعة البيانات المصدرية والشيفرة الأصلية منفصلة.