أدلة إرشادات اختبارات القراءة المعيارية

تستخدم هذه الفحوص أرشيفي Belebele وFLORES-200 الأصليين وملفات التطوير العامة لـ MLQA. يتضمن كل سؤال في Belebele أربعة خيارات للإجابة. تشترك ملفات اللغات وأنظمة الكتابة البالغ عددها 122 ملفًا في ملف ZIP الأصلي في 900 معرّف للسؤال. وفي هذه الملفات، يربط كل معرّف عنوان URL للمصدر برقم سؤال. ورقة Belebele البحثية · تنزيل Belebele وتنسيقه

اربط كل إجابة بسؤالها

نسخنا أرقام الإجابات المحددة من كل ملف من ملفات Belebele ورتبناها وفق ترتيب الأسئلة باللغة الإنجليزية. تعرض 52 ملفًا الأسئلة بترتيب مختلف عن ترتيبها بالإنجليزية. أسفرت مطابقة الإجابات المنسوخة مع كل ملف حسب رقم الصف عن درجة 73.55%، فيما أسفرت المطابقة حسب معرّف السؤال عن درجة 100% عبر 109,800 صف. وعند المطابقة حسب رقم الصف، نُسبت 38,876 إجابة إلى سؤال مختلف. ومن بينها، احتُسبت 9,838 إجابة صحيحة لأن أرقام الإجابات تطابقت.

تحقّق إن كان خياران يحملان النص نفسه

في 148 صفًا، يوجد خيار آخر يطابق نصه تمامًا نص الإجابة المحددة. نسخنا نص الإجابة المحددة من كل صف. أدى إسناد أول خيار يحمل هذا النص إلى خسارة 16 نقطة، بينما أدى إسناد آخر خيار إلى خسارة 133 نقطة. تقارن هذه المراجعة النص تمامًا كما هو مخزن في ملف ZIP الأصلي.

قارن الدرجات على الأسئلة نفسها

عند إزالة الصفوف المتأثرة البالغ عددها 148 صفًا من مواضع ظهورها فقط، يتبقى في كل ملف ما بين 894 و899 سؤالًا. وتشمل الصفوف المتأثرة 23 معرّفًا مختلفًا للسؤال. وعند إزالة جميع المعرّفات الـ23 من كل ملف، تتبقى الأسئلة الـ877 نفسها في كل ملف.

تحقّق من مصادر المقاطع

في الملف الإنجليزي، يشير 513 سؤالًا إلى صفحات في مجموعة التطوير الأصلية لـ FLORES-200. وفي 417 من هذه الأسئلة، يؤدي ضم جمل FLORES الأصلية بترتيبها إلى إعادة إنتاج مقطع Belebele حرفيًا. ويختلف عدد التطابقات التامة بين ملفات اللغات وأنظمة الكتابة الأخرى البالغ عددها 116 ملفًا، والمشتركة بين الأرشيفين.

فحصنا أيضًا 45,279 صفًا من Belebele مرتبطًا بعناوين URL في مجموعة devtest من FLORES-200، عبر ملفات اللغات وأنظمة الكتابة المشتركة البالغ عددها 117 ملفًا، بما فيها الملف الإنجليزي. وكان لكل من 9 معرّفات مختلفة للسؤال مقطع يحتوي على جملة كاملة من مجموعة التطوير في ملف واحد على الأقل. يطابق الفحص عناوين URL للمصادر والنصوص حرفيًا في الأرشيفات الأصلية. توثيق FLORES-200 · أرشيف FLORES-200 الأصلي

تحقّق من قاعدة أقصر إجابة

حقق اختيار أقصر إجابة دائمًا درجة 27.03% في اختبار Belebele الكامل. تحسب القاعدة عدد المحارف بعد توحيد محارف Unicode المتكافئة والمسافات البيضاء. وإذا تساوت خيارات في أقصر طول، توزّع نقطة واحدة بينها بالتساوي وتحتسب حصة الإجابة المحددة فقط. ويبلغ متوسط الدرجة المتوقع عند التخمين العشوائي المتساوي بين أربعة خيارات 25%. استخدم مؤلفو Belebele الأصليون تداخل الكلمات وطول الإجابة للتحقّق من وجود مؤشرات. وأفادوا أيضًا بنتيجة بلغت 28% على 900 سؤال من نموذج استخدم الكلمات دون ترتيبها. ورقة Belebele البحثية، القسم 3.2 · الملحق A.6

قارن الدرجات باستخدام المقاطع

استخدمنا معرّفات الأسئلة الـ900 نفسها باللغتين الإنجليزية والفيتنامية. تختار القاعدة الإجابة التي تضم أعلى نسبة من الكلمات المميزة الواردة في السؤال أو المقطع المقدّم. وفي غياب المقطع، تستخدم السؤال وحده. وتُوزّع نقطة واحدة بالتساوي بين الخيارات المتعادلة. في كل تجربة استبدال، يُؤخذ المقطع من صفحة أخرى، وتُستخدم صفحة المصدر البديلة نفسها في اللغتين.

اللغة دون مقطع الاستبدال الأول المقطع المقصود النطاق عبر 16 عملية استبدال
الإنجليزية 24.60% 26.38% 28.72% من 24.60% إلى 27.89%
الفيتنامية 25.98% 24.80% 27.17% من 23.58% إلى 27.84%

حقق المقطع المقصود درجة أعلى من جميع المقاطع البديلة الـ16 بالإنجليزية، وأعلى من 15 منها بالفيتنامية. وبالمقارنة مع عدم استخدام مقطع، زاد المقطع المقصود الدرجات في 311 سؤالًا بالإنجليزية و313 سؤالًا بالفيتنامية، وخفّضها في 218 سؤالًا بالإنجليزية و234 سؤالًا بالفيتنامية. شفرة مطابقة الكلمات · النتائج الإجمالية

غيّر لغة السؤال

في ملفات تطوير MLQA باللغتين الإنجليزية والفيتنامية، تظهر 511 معرّفات للسؤال في التركيبات الأربعة جميعها للغتي السؤال والمقطع. ومن بين هذه المعرّفات، يؤدي تغيير لغة السؤال من الإنجليزية إلى الفيتنامية مع تثبيت المقطع الإنجليزي إلى بقاء المقطع وقائمة الإجابات المقبولة كما هما تمامًا. وتقيّم المقارنة التي تستخدم هذا الإعداد التجربتين وفق الإجابات الإنجليزية نفسها. ورقة MLQA البحثية · بنية ملفات MLQA

أعِد فحص مطابقة الكلمات

نزّل ملف Belebele الأصلي بصيغة ZIP وبرنامج مطابقة الكلمات والبرنامج المساعد بلغة Python والنتائج الإجمالية المحفوظة. ضعها في المجلد نفسه. يتحقّق البرنامج من قيمة تجزئة الأرشيف ويقرأ الملفين الإنجليزي والفيتنامي. ويعرض الدرجات بوحدات احتساب، بحيث تعادل كل 12 وحدة إجابة صحيحة واحدة. استخدم Python 3.12 لإعادة المقارنة.

set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json