# كيف تختار اختبار قراءة متعدد اللغات؟

اختر اختبارًا يطلب من النموذج ما يحتاج الناس إليه. العثور على المقطع المناسب، والإجابة استنادًا إلى مقطع مقدّم، وفهم سؤال بلغة أخرى مهارات مختلفة. اختبرها كلًا على حدة لتعرف أي خطوة تستحق مراجعة أدق.

| ما الذي تريد التحقق منه؟ | من أين تبدأ؟ | ماذا يفعل النموذج؟ |
| --- | --- | --- |
| هل يجد الجزء المناسب من المقال؟ | TyDiQA-SelectP | يختار مقطعًا من مقال أو يشير إلى أن أيًا من مقاطعه لا يجيب عن السؤال. |
| هل يجد الكلمات التي تجيب عن السؤال؟ | TyDiQA-GoldP | يستخرج كلمات الإجابة من مقطع يتضمنها. |
| هل يجيب عن الأسئلة نفسها بلغات مختلفة؟ | XQuAD أو Belebele | يجيب من مقاطع مترجمة في XQuAD أو يختار من أربعة خيارات في Belebele. |
| هل يجيب عندما يكون السؤال والمقطع بلغتين مختلفتين؟ | MLQA | يجد الإجابة في مقطع مكتوب بلغة أخرى. |

## تحقّق مما إذا كان النموذج يجد الإجابة

استخدم TyDiQA-SelectP عندما يحتاج النموذج إلى العثور على المقطع المناسب داخل مقال. واستخدم TyDiQA-MinSpan عندما يكون عليه أيضًا إعطاء إجابة قصيرة، أو الإجابة بنعم أو لا، أو الإشارة إلى أن المقال لا يتضمن إجابة. صاغ أشخاص أسئلة TyDi QA مباشرة بكل لغة. [وصف مهام TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#the-tasks)

لمعرفة مدى فائدة مقطع أقصر، اطلب من النموذج نفسه إجابة مكتوبة مرتين. أعطه المقال كاملًا مرة ومقطعًا منسوخًا حرفيًا منه مرة أخرى. أبقِ الإعدادات والسؤال وصيغة الإجابة والإجابات المقبولة وقاعدة التصحيح كما هي. وتحقّق من ورود كل إجابة مقبولة في النصين. إذا استخدمت بندًا من Gold Passage كما هو، فتحقّق من المقطع وقائمة إجاباته. قد يتكرر السؤال في الملفين رغم اختلاف المقطع أو الإجابات المقبولة. تساعدك ملفات التطوير في TyDi QA على إعداد المقارنة. تظهر جميع أسئلة Gold Passage البالغ عددها 5,077 أيضًا في المجموعة الأساسية التي تضم 18,670 سؤالًا. لا تشمل Gold Passage اليابانية أو التايلاندية، وتستبعد 1,285 سؤالًا له إجابات مكتوبة معلّمة ضمن اللغات التسع المشتركة بين الملفين. طابق الأسئلة بحسب اللغة وعنوان المقال وصياغة السؤال حرفيًا. استخدم الأزواج التي لها تطابق واحد فقط. [مقارنة أسئلة TyDi QA](https://sapien1.com/ar/research/choose-a-multilingual-reading-test-evidence/evidence.html#tydi-qa-matched-questions)

## استخدم الأسئلة نفسها عند مقارنة اللغات

يعرض XQuAD للنموذج نسخًا مترجمة من الأسئلة والمقاطع نفسها. تأتي الأسئلة الإنجليزية البالغ عددها 1,190 من مجموعة تطوير SQuAD 1.1. تشترك الملفات المترجمة التي فحصناها في معرّفات هذه الأسئلة. إذا ضبطت النموذج باستخدام مجموعة تطوير SQuAD، فتحقّق من الأسئلة المتداخلة قبل اعتبار XQuAD اختبارًا بأسئلة جديدة. [ورقة XQuAD الأصلية](https://aclanthology.org/2020.acl-main.421/) · [التحقق من الأسئلة المعاد استخدامها](https://sapien1.com/ar/research/choose-a-multilingual-reading-test-evidence/evidence.html#xquad-question-reuse)

استخدم Belebele عندما تريد أن يختار النموذج إجابة واحدة من أربعة خيارات. تشترك ملفاته البالغ عددها 122، بحسب اللغة ونظام الكتابة، في 900 معرّف سؤال. احفظ رقم الخيار المحدد أو حرفه. قد يتطابق نص خيارين، فلا يكفي النص وحده لمعرفة أيهما اختار النموذج. إذا استبعدت الأسئلة المتأثرة، فاستخدم المعرّفات المتبقية نفسها في كل لغة تقارنها. [مقارنة درجات القراءة بين اللغات](https://sapien1.com/ar/research/cross-language-reading-scores)

## غيّر لغة السؤال وأبقِ المقطع كما هو

استخدم MLQA إذا كان شخص يتحدث الفيتنامية قد يسأل مثلًا عن مستند بالإنجليزية. في ملفات تطوير MLQA بالإنجليزية والفيتنامية التي فحصناها، يتيح 511 سؤالًا مشتركًا طرح السؤال بأي منهما مع الإبقاء على المقطع الإنجليزي والإجابات المقبولة دون أي تغيير. صحّح المحاولتين بالإجابات الإنجليزية نفسها لترى ما الذي تغيّر بسبب تبديل لغة السؤال. [ورقة MLQA الأصلية](https://aclanthology.org/2020.acl-main.653/) · [مقارنة الملفين الإنجليزي والفيتنامي](https://sapien1.com/ar/research/choose-a-multilingual-reading-test-evidence/evidence.html#mlqa-fixed-english-passage)

للتحقق على حدة من مقدار ما يقدمه المقطع من مساعدة، اطرح الأسئلة نفسها مرة مع المقطع ومرة دونه. [التحقّق من استخدام النموذج للمقطع](https://sapien1.com/ar/research/does-the-model-use-the-passage)

## تأكّد من أن الاختبار يشمل اللغة التي تحتاجها

في التايلاندية، استخدم TyDiQA-SelectP لمعرفة هل يجد النموذج المقطع المناسب، أو XQuAD لمعرفة هل يجد كلمات الإجابة في مقطع تقدّمه له، أو Belebele لمعرفة هل يختار الإجابة الصحيحة. لا يحتوي ملف تطوير TyDiQA-GoldP على أسئلة بالتايلاندية. العربية والإنجليزية هما اللغتان الوحيدتان الموجودتان في المجموعات الأربع التي قارناها: TyDi QA الأساسية، وTyDi QA Gold Passage، وXQuAD، وملفات تطوير MLQA التي تستخدم اللغة نفسها للسؤال والمقطع. [التحقق من اللغات المشمولة](https://sapien1.com/ar/research/choose-a-multilingual-reading-test-evidence/evidence.html#language-coverage) · [ملفات لغات Belebele](https://sapien1.com/ar/research/choose-a-multilingual-reading-test-evidence/evidence.html#belebele-thai)

عند الإبلاغ عن الدرجات، اذكر اسم المهمة واللغات وعدد الأسئلة الداخلة في كل درجة. على سبيل المثال، تستبعد طريقتا التصحيح الرسميتان في TyDi QA اللغة الإنجليزية من المتوسط العام رغم وجودها في الملفات. [توثيق التصحيح في TyDi QA](https://github.com/google-research-datasets/tydiqa/blob/43cde6d598c1cf88c1a8b9ed32e89263ffb5e03b/README.md#evaluation)
