נתונים לבחירת מבחן הבנת הנקרא בכמה שפות

בדיקות אלה משוות בין השאלות והשפות במהדורות מסוימות של TyDi QA, XQuAD, MLQA ו־Belebele. המספרים מתייחסים לקבצים ששימשו במדריך.

אילו שאלות משותפות לקובצי TyDi QA?

התאמנו בין קובצי הפיתוח לפי שפה, כותרת המאמר והניסוח המדויק של השאלה. כל אחת מ־5,077 השורות בקובץ Gold Passage תאמה לאחת מ־18,670 השורות בקובץ המשימה הראשית. ב־9 השפות המשותפות, קובץ Gold Passage אינו כולל 1,285 שורות מהקובץ הראשי שבהן לפחות מתייג אחד סימן תשובה כתובה. קובץ הפיתוח של המשימה הראשית כולל יפנית ותאילנדית, ובקובץ Gold Passage אין שורות בשתי השפות האלה.

כדי להשוות בין מאמר שלם לקלט קצר יותר, בקשו מאותו מודל תשובה כתובה פעמיים. העתיקו את הקטע הקצר בדיוק כפי שהוא מופיע במאמר. השאירו את ההגדרות, השאלה, פורמט התשובה, התשובות המתקבלות וכלל הניקוד ללא שינוי. בדקו שכל תשובה מתקבלת מופיעה בשני הקלטים. אם משתמשים ב־Gold Passage כפי שסופק, בדקו את הקטע ואת רשימת התשובות שלו. ההתאמה לפי שאלה מראה אילו שאלות משותפות לקבצים. טקסט הקטע והתשובות המתקבלות עשויים להיות שונים.

בחישוב הממוצע הכולל של הערכות המשימה הראשית ו־Gold Passage, מחברי המחקר אינם כוללים את האנגלית באף אחת מהן.

מספרים לפי שפה (JSON) · סקריפט השוואה (Python) · קובץ פיתוח של המשימה הראשית בגרסה קבועה · קובץ פיתוח של Gold Passage בגרסה קבועה · כללי הניקוד הרשמיים

שמרו את שני קובצי המקור בשם primary.parquet ו־gold.parquet. שמרו את הסקריפט וקובץ המספרים באותה תיקייה, ואז הריצו את ההשוואה. הסקריפט מאמת את ערכי הגיבוב של שני קובצי הקלט לפני קריאתם.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

אילו שאלות ב־XQuAD מגיעות מ־SQuAD?

כל 1,190 מזהי השאלות באנגלית ב־XQuAD תואמים לשאלות בקובץ הפיתוח של SQuAD בגרסה 1.1. עבור מזהים אלה, כותרת המאמר, הקטע ונוסח השאלה תואמים בדיוק. כל 12 הקבצים בגרסת XQuAD שבדקנו חולקים את אותם מזהים, כולל הקובץ ברומנית שנוסף לאחר המהדורה המקורית.

מספרי שאלות והתאמות (JSON) · המאמר המקורי על XQuAD · גרסה קבועה של XQuAD · קובץ הפיתוח של SQuAD בגרסה קבועה

מה נשאר זהה כשמשנים את שפת השאלה ב־MLQA?

לארבעת קובצי הפיתוח של אנגלית–וייטנאמית משותפים 511 מזהי שאלות. המעבר משאלות באנגלית לשאלות בוייטנאמית, תוך שמירה על הקטע באנגלית, שינה את כל 511 השאלות, אך לא שינה אף קטע או רשימת תשובות מתקבלות. הבדיקה משווה כל קטע ואת הרשימה המסודרת של התשובות המתקבלות, כולל מיקומי התשובות השמורים. השתמשו באותן תשובות באנגלית לניקוד שתי ההרצות.

מספרי השוואת הקבצים (JSON) · הורדות MLQA הרשמיות · המאמר המקורי על MLQA

אילו שפות נכללות בארבע קבוצות הקבצים?

בדקנו את קובצי הפיתוח של המשימה הראשית ו־Gold Passage ב־TyDi QA, את מהדורת XQuAD בגרסה קבועה ואת קובצי הפיתוח של MLQA שבהם השאלה והקטע באותה שפה. ערבית ואנגלית הן השפות היחידות שמופיעות בכל ארבע הקבוצות. תאילנדית מופיעה במשימה הראשית של TyDi QA וב־XQuAD, ואינה מופיעה ב־Gold Passage.

קודי שפות לפי קבוצת קבצים (JSON)

איפה נמצא מבחן השאלות הסגורות בתאילנדית?

ל־Belebele יש קובץ בתאילנדית בשם tha_Thai.jsonl. השתמשו בו לשאלות שבהן המודל מתבקש לבחור אחת מ־4 תשובות לאחר קריאת קטע.

הקובץ בתאילנדית מאת מחברי המחקר, בגרסה קבועה · המאמר המקורי על Belebele · איך להשוות ציונים במבחני הבנת הנקרא עם שאלות סגורות בין שפות