انتقل إلى المحتوى الرئيسي

القائمة

أبحاث

كيف تقارن درجات اختبارات القراءة بأسئلة الاختيار من متعدد بين اللغات؟

اللغة: العربية

استخدم الأسئلة نفسها وقواعد التصحيح ذاتها في كل لغة. تحقّق من تكرار خيارات الإجابة ومن المقاطع التي ربما رآها النموذج من قبل. في Belebele، وهو اختبار قراءة متعدد اللغات، نسخنا أرقام الخيارات المحدّدة على أنها صحيحة من كل ملف ورتّبناها وفق ترتيب الأسئلة بالإنجليزية. أعطت مطابقتها بكل ملف حسب رقم الصف نتيجة 73.55%. وأعطت مطابقتها بمعرّف السؤال نتيجة 100%. إعادة تجربة التصحيح في Belebele

اربط كل إجابة بسؤالها

احفظ مع كل إجابة اللغة ومعرّف السؤال ورقم الخيار المحدّد أو حرفه. تشترك ملفات Belebele البالغ عددها 122 في معرّفات الأسئلة الـ900 نفسها، لكن 52 ملفًا تعرضها بترتيب مختلف عن الملف الإنجليزي. عند المطابقة حسب رقم الصف، نالت 9,838 إجابة مرتبطة بالسؤال الخطأ نقاطًا لأن أرقام الخيارات تصادف أن تطابقت. فحص ترتيب الأسئلة

تحقّق إن كان خياران يحملان النص نفسه

افترض أن الخيارين B وD يعرضان 12 وأن الملف يعتبر B صحيحًا. الإجابة 12 تعطيك نص الخيار. وللتصحيح حسب موضعه، تحتاج إلى حرفه. يتكرر نص الإجابة المحدّدة في 148 صفًا من Belebele. عند نسخ تلك النصوص حرفيًا، أدى اختيار أول خيار مطابق إلى خسارة 16 نقطة، وأدى اختيار آخر خيار مطابق إلى خسارة 133 نقطة. حدّد هل ستصحّح وفق رقم الخيار أو حرفه أم وفق نصه، ثم افحص الخيارات بالقواعد نفسها. خيارات الإجابة المكررة

قارن الدرجات على الأسئلة نفسها

إذا استبعدت الصفوف الـ148 التي تكررت فيها الإجابة في الملفات التي تظهر فيها فقط، يبقى في كل لغة ما بين 894 و899 سؤالًا. وإذا احتجت إلى المقارنة على الأسئلة نفسها في كل اللغات، فاحذف المعرّفات الـ23 المتأثرة من كل ملف. يتبقّى 877 سؤالًا مشتركًا. اذكر عدد الأسئلة الأصلي وعدد الأسئلة التي صحّحتها. مقارنة طرق استبعاد الأسئلة

تحقّق من المقاطع التي ربما رآها النموذج من قبل

إذا استخدمت مجموعة التطوير من FLORES-200 لضبط نموذج، فتحقّق من ظهور المقاطع نفسها في Belebele. يشير 513 سؤالًا في الملف الإنجليزي إلى صفحات من مجموعة التطوير. وفي 417 سؤالًا منها، يعيد جمع جمل FLORES إنتاج مقطع Belebele حرفيًا. يختلف عدد التطابقات التامة بين الملفات الـ116 الأخرى التي تتشاركها المجموعتان بحسب اللغة ونظام الكتابة. راجع النص باللغة التي تختبرها. إعادة استخدام المقاطع الإنجليزية · إعادة استخدام المقاطع المترجمة