أبحاث
كيف تتحقّق مما إذا كان النموذج يستخدم المقطع؟
اطرح الأسئلة نفسها على النموذج مرتين، مرة مع المقطع ومرة من دونه. أبقِ الأسئلة وخيارات الإجابة وقواعد التصحيح كما هي. قارن الدرجتين لتعرف مقدار ما أضافه المقطع على هذه الأسئلة. وفي اختبار الاختيار من متعدد، أجرِ فحصًا إضافيًا بالخيارات وحدها. حققت قاعدة اختيار أقصر إجابة دائمًا 27.03% على اختبار Belebele الكامل. وعند التخمين مع إعطاء الخيارات فرصًا متساوية، تكون الدرجة المتوقعة 25%. فحص طول الإجابة في Belebele
غيّر شيئًا واحدًا فقط مما تعرضه على النموذج
| ما يراه النموذج | ما تقارنه |
|---|---|
| المقطع والسؤال والخيارات | وتيرة الإجابات الصحيحة عند تقديم كل المعلومات |
| السؤال والخيارات | وتيرة الإجابات الصحيحة من دون المقطع |
| الخيارات وحدها | وتيرة الإجابات الصحيحة اعتمادًا على الخيارات وحدها |
استخدم النموذج نفسه والإعدادات ذاتها في كل محاولة. احسب عدد الإجابات التي تصبح صحيحة عند إضافة المقطع وعدد الإجابات التي تصبح خاطئة. توضح هذه الأعداد كيف تتغير الدرجة قليلًا رغم اختلاف الأسئلة التي نجحت فيها المحاولتان. وفي اختبار الإجابات المكتوبة، قارن المحاولتين الأوليين من دون الخيارات، واستخدم الإجابات المقبولة نفسها فيهما.
راجع الأسئلة التي تغيّرت نتائجها
افترض أن النموذج أجاب إجابة صحيحة عن 70 من أصل 100 سؤال في كلتا المحاولتين. بعد المطابقة بمعرّف السؤال، كانت 62 إجابة صحيحة في المحاولتين و22 خاطئة فيهما. جعلت إضافة المقطع ثماني إجابات خاطئة صحيحة وثماني إجابات صحيحة خاطئة. ظلت الدرجة 70%، لكن يمكنك مراجعة 16 سؤالًا لمعرفة أين ساعد المقطع وأين أضر.
جرّب قاعدة بسيطة لمطابقة الكلمات
بحث مؤلفو Belebele عن دلائل في الكلمات المشتركة وطول الإجابات. وأبلغوا أيضًا عن درجة 28% على 900 سؤال لنموذج يتعرّف على الكلمات الواردة دون اعتبار ترتيبها. ورقة Belebele، القسم 3.2 · الملحق A.6
طبّقنا قاعدة ثابتة لمطابقة الكلمات على الأسئلة الـ900 نفسها من Belebele بالإنجليزية والفيتنامية. جرّبنا الإجابة دون مقطع، وبالمقطع الأصلي، وبمقطع من صفحة أخرى. لكل خيار نحسب نسبة كلماته المختلفة التي تظهر أيضًا في السؤال أو في المقطع المقدّم. وعند غياب المقطع، نستخدم السؤال وحده. تختار القاعدة الخيار صاحب أعلى نسبة. عند تعادل الخيارات في الصدارة، نقسّم نقطة واحدة بينها بالتساوي ونحسب فقط حصة الإجابة المحدّدة على أنها صحيحة. في كل سؤال، يأتي المقطعان البديلان بالإنجليزية والفيتنامية من الصفحة الأخرى نفسها، كلٌّ بلغته. الشيفرة · النتائج
| اللغة | من دون مقطع | مقطع من صفحة أخرى | المقطع الأصلي |
|---|---|---|---|
| الإنجليزية | 24.60% | 26.38% | 28.72% |
| الفيتنامية | 25.98% | 24.80% | 27.17% |
في المقارنة الأولى، أعطى المقطع الأصلي أعلى درجة في اللغتين. جرّبنا بعد ذلك 15 طريقة أخرى لتبديل المقاطع. في المحاولات الـ16، تراوحت الدرجات بين 24.60% و27.89% بالإنجليزية، وبين 23.58% و27.84% بالفيتنامية. تفوّق المقطع الأصلي على البدائل الـ16 كلها بالإنجليزية وعلى 15 بديلًا بالفيتنامية. جرّب عدة بدائل كي تعتمد النتيجة بدرجة أقل على الصفحة التي تختارها. نتائج جميع عمليات التبديل
مقارنة بالمحاولة من دون مقطع، زادت إضافة المقطع الأصلي النقاط في 311 سؤالًا بالإنجليزية و313 بالفيتنامية. وخفّضتها في 218 سؤالًا بالإنجليزية و234 بالفيتنامية. إذا قارنت هذه القاعدة بنموذج، فصحّح كليهما على الأسئلة نفسها.
أبقِ الأسئلة وقواعد التصحيح كما هي
احفظ معرّف السؤال مع كل إجابة. تشترك ملفات Belebele الـ122 في 900 معرّف سؤال، لكن 52 ملفًا تعرضها بترتيب مختلف عن الملف الإنجليزي. إذا استبعدت أسئلة تتكرر فيها نصوص الخيارات، فاحذف المعرّفات نفسها من كل المحاولات التي تقارنها. احفظ حرف الخيار لتمييز اختيارين يعرضان النص نفسه عند التصحيح. إعادة فحص ترتيب الأسئلة · تصفية الأسئلة
تحقّق مما ربما رآه النموذج من قبل
قد تأتي الإجابة الصحيحة من دون المقطع من معرفة سابقة، أو من إشارات في السؤال أو الخيارات، أو من التخمين. إذا استخدمت مجموعة التطوير من FLORES-200 لضبط نموذج تريد اختباره الآن على Belebele، فيمكنك استبعاد الأسئلة الواردة من روابط تلك المجموعة. افحص النص أيضًا. في الملفات الأصلية، بقيت تسعة أسئلة من روابط أخرى تحتوي على جملة من مجموعة التطوير في لغة أو نظام كتابة واحد على الأقل من التي فحصناها. فحص مقاطع Belebele
أبقِ المقطع نفسه عند تغيير لغة السؤال
لمعرفة هل يؤدي طرح السؤال بلغة أخرى إلى تغيير النتيجة، أجرِ هذه المقارنة على حدة. في ملفات MLQA الإنجليزية والفيتنامية التي فحصناها، يتيح 511 معرّفًا تبديل لغة السؤال مع إبقاء المقطع الإنجليزي والإجابات المقبولة دون أي تغيير. صحّح المحاولتين باستخدام الإجابات الإنجليزية نفسها. أسئلة MLQA المتطابقة