انتقل إلى المحتوى الرئيسي

القائمة

أبحاث

قد تتغير نتيجة التصنيف دون أمثلة تدريبية عند تغيّر فهارس تسميات NLI

اللغة: العربية

تنتج مجموعتان افتراضيتان، تضم كل منهما ثلاث قيم logits، ترتيبين متعاكسين في حالة تعدد التسميات عند ترتيبهما وفق إعدادين حقيقيين لنموذجين. ويتغير التقييم أيضًا عند وجود تسمية مرشحة واحدة. أما المسار الحصري ذي التسميتين المرشحتين فيعطي الترتيب نفسه لكلا الترتيبين. تختبر هذه المقارنة آلية احتساب درجات التصنيف دون أمثلة تدريبية في Transformers 4.55.0 و5.23.0 باستخدام بيانات إعدادات عامة، من دون إجراء استدلال بالنموذج.

الزوج المتوقع والزوج المستخدم

ينشئ مسار التصنيف دون أمثلة تدريبية مقدمة وفرضية لكل تسمية مرشحة. وتصف وثائق احتساب الدرجات تطبيق softmax على قيمتي logit للاستلزام والتناقض لكل تسمية مرشحة. في كلا الإصدارين المفحوصين، تجد آلية احتساب الدرجات الاستلزام في label2id. وتستخدم آخر قيمة logit مدخلًا آخر عندما يكون الاستلزام عند الفهرس 0، والفهرس 0 في غير ذلك. ويُنفّذ الفرع نفسه عند وجود تسمية مرشحة واحدة فقط. وثائق احتساب الدرجات · آلية احتساب الدرجات في 4.55.0 · آلية احتساب الدرجات في 5.23.0

الإعداد المنشورالفهرس 0الفهرس 1الفهرس 2قيمة logit المقترنة بالاستلزام
aiface/ModernBERT-large_nliالاستلزامالتناقضالحيادالحياد
facebook/bart-large-mnliالتناقضالحيادالاستلزامالتناقض

يتضمن كلا الإعدادين تعيينين متطابقين للتسميات في الاتجاهين المباشر والعكسي. وهما يحددان التعيين المعلن. لا تقيس التجربة ما تعلمه كل نموذج أو مدى تكرار تغيّر الترتيب بسبب قيم logits الفعلية لكل منهما. إعداد ModernBERT · إعداد BART

يتغير الترتيب في حالة اختبار مضبوطة

أُعيد ترتيب قيم logits الدلالية نفسها وفق كل إعداد. للتسمية A قيمة استلزام 2، وتناقض 0، وحياد 4. وللتسمية B قيمة استلزام 1، وتناقض 2، وحياد −1. يستخدم الحساب المرجعي الفئتين المذكورتين في الوثائق. وتتطابق النتائج في الإصدارين.

مسار احتساب الدرجاتالتسمية Aالتسمية Bالدرجة الأعلى
الاستلزام والتناقض المعلن0.8807970.268941A
تعدد التسميات باستخدام تعيين ModernBERT0.1192030.880797B
تعدد التسميات باستخدام تعيين BART0.8807970.268941A
المسار الحصري بتسميتين مرشحتين، بأي من التعيينين0.7310590.268941A

عند وجود التسمية A وحدها واستخدام الإعداد الافتراضي multi_label=False، يعطي الفرع نفسه 0.119203 لتعيين ModernBERT و0.880797 لتعيين BART. وعبر التباديل الستة للتسميات الثلاث المختلفة، يعطي فرع تعدد التسميات درجات تتوافق مع موضع التناقض المعلن في ثلاثة تباديل، ومع موضع الحياد في الثلاثة الأخرى. هذه ستة ترتيبات ممكنة في حالة اختبار، ولا يقدّم العدد تقديرًا لنسبة النماذج المنشورة المتأثرة. المخرجات الكاملة

عند إجراء تقييم دون أمثلة تدريبية، احتفظ بمراجعة نقطة التحقق، وتعيين الفئات، وإصدار مكتبة احتساب الدرجات، وعدد التسميات المرشحة، وإعداد تعدد التسميات. تحقق من قيم logits التي يستخدمها مسار احتساب الدرجات فعليًا قبل مقارنة الدرجات المستقلة بين نقاط التحقق. يجب أن يصف تعيين التسميات ترتيب مخرجات رأس النموذج الحالي. تعديل الإعداد وحده لا يغيّر إحداثيات مخرجاته.

إعادة إنتاج الاختبار

شغّل python3 check.py | cmp - observations.json مع تفعيل التحقق من فشل أوامر الأنبوب وتوفير NumPy. تتحقق أداة الفحص من بايتات ملفي مصدر لمسار المعالجة وملفي إعداد لنموذجين، بإجمالي 27,139 بايتًا. ولا تنفّذ سوى دوال فهرس الاستلزام والمعالجة اللاحقة للدرجات المثبتة ضمن فئة صغيرة، من دون اعتماديات الحزمة الخاصة بها. وتوفّر مصفوفات float32 عبر الواجهة المتوقعة لمدخلات الموترات في آلية احتساب الدرجات. يستخدم المرجع المستقل الصيغة اللوجستية لدالة softmax ذات الفئتين. وتختبر الحزمة اختزال الدرجات وفرزها. ولا تشغّل المجزّئ أو النموذج أو مجموعة البيانات أو التهيئة الكاملة للمكتبة أو الاختبار المعياري.

يخضع مستودع Transformers لترخيص Apache 2.0. وكانت تسميتا الترخيص في بطاقتي النموذجين Apache 2.0 وMIT، على التوالي. تستخدم هذه الحزمة حقائق تعيين التسميات العامة والمعرّفات. وتجلب أداة الفحص الملفات الأصلية وقت التشغيل، ولا تتضمن أي شيفرة مصدرية أصلية أو أوزان نماذج أو نصوص بطاقات أو أمثلة. أداة الفحص · ترخيص Transformers