أبحاث
قد تتغير نتيجة التصنيف دون أمثلة تدريبية عند تغيّر فهارس تسميات NLI
تنتج مجموعتان افتراضيتان، تضم كل منهما ثلاث قيم logits، ترتيبين متعاكسين في حالة تعدد التسميات عند ترتيبهما وفق إعدادين حقيقيين لنموذجين. ويتغير التقييم أيضًا عند وجود تسمية مرشحة واحدة. أما المسار الحصري ذي التسميتين المرشحتين فيعطي الترتيب نفسه لكلا الترتيبين. تختبر هذه المقارنة آلية احتساب درجات التصنيف دون أمثلة تدريبية في Transformers 4.55.0 و5.23.0 باستخدام بيانات إعدادات عامة، من دون إجراء استدلال بالنموذج.
الزوج المتوقع والزوج المستخدم
ينشئ مسار التصنيف دون أمثلة تدريبية مقدمة وفرضية لكل تسمية مرشحة. وتصف وثائق احتساب الدرجات تطبيق softmax على قيمتي logit للاستلزام والتناقض لكل تسمية مرشحة. في كلا الإصدارين المفحوصين، تجد آلية احتساب الدرجات الاستلزام في label2id. وتستخدم آخر قيمة logit مدخلًا آخر عندما يكون الاستلزام عند الفهرس 0، والفهرس 0 في غير ذلك. ويُنفّذ الفرع نفسه عند وجود تسمية مرشحة واحدة فقط. وثائق احتساب الدرجات · آلية احتساب الدرجات في 4.55.0 · آلية احتساب الدرجات في 5.23.0
| الإعداد المنشور | الفهرس 0 | الفهرس 1 | الفهرس 2 | قيمة logit المقترنة بالاستلزام |
|---|---|---|---|---|
| aiface/ModernBERT-large_nli | الاستلزام | التناقض | الحياد | الحياد |
| facebook/bart-large-mnli | التناقض | الحياد | الاستلزام | التناقض |
يتضمن كلا الإعدادين تعيينين متطابقين للتسميات في الاتجاهين المباشر والعكسي. وهما يحددان التعيين المعلن. لا تقيس التجربة ما تعلمه كل نموذج أو مدى تكرار تغيّر الترتيب بسبب قيم logits الفعلية لكل منهما. إعداد ModernBERT · إعداد BART
يتغير الترتيب في حالة اختبار مضبوطة
أُعيد ترتيب قيم logits الدلالية نفسها وفق كل إعداد. للتسمية A قيمة استلزام 2، وتناقض 0، وحياد 4. وللتسمية B قيمة استلزام 1، وتناقض 2، وحياد −1. يستخدم الحساب المرجعي الفئتين المذكورتين في الوثائق. وتتطابق النتائج في الإصدارين.
| مسار احتساب الدرجات | التسمية A | التسمية B | الدرجة الأعلى |
|---|---|---|---|
| الاستلزام والتناقض المعلن | 0.880797 | 0.268941 | A |
| تعدد التسميات باستخدام تعيين ModernBERT | 0.119203 | 0.880797 | B |
| تعدد التسميات باستخدام تعيين BART | 0.880797 | 0.268941 | A |
| المسار الحصري بتسميتين مرشحتين، بأي من التعيينين | 0.731059 | 0.268941 | A |
عند وجود التسمية A وحدها واستخدام الإعداد الافتراضي multi_label=False، يعطي الفرع نفسه 0.119203 لتعيين ModernBERT و0.880797 لتعيين BART. وعبر التباديل الستة للتسميات الثلاث المختلفة، يعطي فرع تعدد التسميات درجات تتوافق مع موضع التناقض المعلن في ثلاثة تباديل، ومع موضع الحياد في الثلاثة الأخرى. هذه ستة ترتيبات ممكنة في حالة اختبار، ولا يقدّم العدد تقديرًا لنسبة النماذج المنشورة المتأثرة. المخرجات الكاملة
عند إجراء تقييم دون أمثلة تدريبية، احتفظ بمراجعة نقطة التحقق، وتعيين الفئات، وإصدار مكتبة احتساب الدرجات، وعدد التسميات المرشحة، وإعداد تعدد التسميات. تحقق من قيم logits التي يستخدمها مسار احتساب الدرجات فعليًا قبل مقارنة الدرجات المستقلة بين نقاط التحقق. يجب أن يصف تعيين التسميات ترتيب مخرجات رأس النموذج الحالي. تعديل الإعداد وحده لا يغيّر إحداثيات مخرجاته.
إعادة إنتاج الاختبار
شغّل python3 check.py | cmp - observations.json مع تفعيل التحقق من فشل أوامر الأنبوب وتوفير NumPy. تتحقق أداة الفحص من بايتات ملفي مصدر لمسار المعالجة وملفي إعداد لنموذجين، بإجمالي 27,139 بايتًا. ولا تنفّذ سوى دوال فهرس الاستلزام والمعالجة اللاحقة للدرجات المثبتة ضمن فئة صغيرة، من دون اعتماديات الحزمة الخاصة بها. وتوفّر مصفوفات float32 عبر الواجهة المتوقعة لمدخلات الموترات في آلية احتساب الدرجات. يستخدم المرجع المستقل الصيغة اللوجستية لدالة softmax ذات الفئتين. وتختبر الحزمة اختزال الدرجات وفرزها. ولا تشغّل المجزّئ أو النموذج أو مجموعة البيانات أو التهيئة الكاملة للمكتبة أو الاختبار المعياري.
يخضع مستودع Transformers لترخيص Apache 2.0. وكانت تسميتا الترخيص في بطاقتي النموذجين Apache 2.0 وMIT، على التوالي. تستخدم هذه الحزمة حقائق تعيين التسميات العامة والمعرّفات. وتجلب أداة الفحص الملفات الأصلية وقت التشغيل، ولا تتضمن أي شيفرة مصدرية أصلية أو أوزان نماذج أو نصوص بطاقات أو أمثلة. أداة الفحص · ترخيص Transformers