أدلة لاختيار اختبار قراءة متعدد اللغات

تقارن هذه الفحوص الأسئلة واللغات في إصدارات محددة من TyDi QA وXQuAD وMLQA وBelebele. وتشير الأعداد إلى الملفات المستخدمة في الدليل.

ما الأسئلة المشتركة بين ملفات TyDi QA؟

طابقنا ملفات التطوير حسب اللغة وعنوان المقالة والصياغة الدقيقة للسؤال. وطابق كل صف من صفوف Gold Passage البالغ عددها 5,077 صفًا واحدًا من الصفوف الأساسية البالغ عددها 18,670 صفًا. وفي اللغات المشتركة التسع، يستبعد ملف Gold Passage عدد 1,285 صفًا من الصفوف الأساسية التي حدد فيها مُقيّم واحد على الأقل إجابة مكتوبة. ويشمل ملف التطوير الأساسي اللغتين اليابانية والتايلاندية، بينما لا يحتوي ملف Gold Passage على صفوف بهاتين اللغتين.

لمقارنة مقالة كاملة بمدخل أقصر، اطلب من النموذج نفسه إجابة مكتوبة مرتين. انسخ المقطع الأقصر من المقالة كما هو تمامًا. أبقِ الإعدادات والسؤال وتنسيق الإجابة والإجابات المقبولة وقاعدة التقييم كما هي. تأكّد من أن كل إجابة مقبولة تظهر في كلا المدخلين. تحقّق من المقتطف وقائمة إجاباته إذا استخدمت Gold Passage كما هو مقدم. تحدد مطابقة الأسئلة الأسئلة المشتركة بين الملفات. وقد يختلف نص المقطع والإجابات المقبولة.

يستبعد كل من تقييمي المؤلفين للمهمة الأساسية وGold Passage اللغة الإنجليزية من متوسطه الإجمالي.

الأعداد حسب اللغة (JSON) · برنامج المقارنة (Python) · ملف التطوير الأساسي المثبّت · ملف تطوير Gold Passage المثبّت · قواعد التقييم الرسمية

احفظ ملفي المصدر باسمَي primary.parquet وgold.parquet. احفظ البرنامج وملف الأعداد في المجلد نفسه، ثم شغّل المقارنة. يتحقق البرنامج من بصمتَي ملفي الإدخال قبل قراءتهما.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

ما أسئلة XQuAD المأخوذة من SQuAD؟

تطابق جميع معرّفات XQuAD الإنجليزية البالغ عددها 1,190 أسئلة في ملف تطوير SQuAD 1.1. وتتطابق عناوين المقالات والمقاطع ونصوص الأسئلة تمامًا لهذه المعرّفات. وتشترك الملفات الـ12 جميعها في إصدار XQuAD الذي فحصناه في المعرّفات نفسها، بما فيها الملف الروماني الذي أُضيف بعد الإصدار الأصلي.

أعداد الأسئلة والمطابقات (JSON) · ورقة XQuAD الأصلية · إصدار XQuAD المثبّت · ملف تطوير SQuAD المثبّت

ما الذي يبقى كما هو عند تغيير لغة سؤال في MLQA؟

تشترك ملفات التطوير الأربعة للإنجليزية والفيتنامية في 511 معرّفًا للأسئلة. وأدى تغيير لغة الأسئلة من الإنجليزية إلى الفيتنامية مع إبقاء المقطع الإنجليزي كما هو إلى تغيير الأسئلة الـ511 جميعها، دون تغيير أي مقطع أو قائمة إجابات مقبولة. ويقارن الفحص كل مقطع والقائمة المرتبة للإجابات المقبولة، بما في ذلك مواضعها المحفوظة. استخدم الإجابات الإنجليزية نفسها لتقييم التشغيلين.

أعداد مقارنة الملفات (JSON) · تنزيلات MLQA الرسمية · ورقة MLQA الأصلية

ما اللغات الموجودة في مجموعات الملفات الأربع؟

فحصنا ملفات تطوير TyDi QA للمهمة الأساسية وGold Passage، وإصدار XQuAD المثبّت، وملفات تطوير MLQA التي تستخدم اللغة نفسها للسؤال والمقطع. والعربية والإنجليزية هما اللغتان الوحيدتان الموجودتان في المجموعات الأربع جميعها. وتظهر التايلاندية في ملفات TyDi QA الأساسية وXQuAD، لكنها غير موجودة في Gold Passage.

رموز اللغات حسب مجموعة الملفات (JSON)

أين أجد اختبار الاختيار من متعدد باللغة التايلاندية؟

يتضمن Belebele ملفًا باللغة التايلاندية اسمه tha_Thai.jsonl. استخدمه للأسئلة التي تطلب من النموذج اختيار إجابة واحدة من بين أربع إجابات بعد قراءة مقطع.

الملف التايلاندي المثبّت من المؤلفين · ورقة Belebele الأصلية · كيف تقارن درجات اختبارات القراءة متعددة الخيارات بين اللغات؟