ראיות למדריכים על מבחני הבנת הנקרא
הבדיקות האלה מבוססות על הארכיונים המקוריים של Belebele ו־FLORES-200 ועל קובצי הפיתוח הציבוריים של MLQA. ב־Belebele יש 4 אפשרויות תשובה לכל שאלה. ל־122 קובצי השפה והכתב ב־ZIP המקורי יש 900 מזהי שאלות משותפים. בקבצים האלה, כל מזהה משלב כתובת URL של מקור עם מספר שאלה. המאמר על Belebele · הורדה ומבנה הקבצים של Belebele
מתאימים כל תשובה לשאלה שלה
העתקנו את מספרי התשובות המסומנות מכל קובץ של Belebele וסידרנו אותם לפי סדר השאלות באנגלית. ב־52 קבצים סדר השאלות שונה מהסדר באנגלית. התאמת התשובות שהועתקו לכל קובץ לפי מספר שורה הניבה ציון של 73.55%. התאמה לפי מזהה שאלה הניבה 100% על פני 109,800 שורות. בהתאמה לפי מספר שורה, 38,876 תשובות שויכו לשאלה אחרת. מתוכן, 9,838 עדיין קיבלו ניקוד משום שמספרי התשובות תאמו.
בודקים אם לשתי אפשרויות יש אותו טקסט
ב־148 שורות, לאפשרות נוספת יש בדיוק אותו טקסט כמו לתשובה המסומנת. העתקנו את טקסט התשובה המסומנת מכל שורה. שיוך לאפשרות הראשונה עם אותו טקסט הוביל לאובדן של 16 נקודות. שיוך לאפשרות האחרונה הוביל לאובדן של 133 נקודות. הבדיקה משווה את הטקסט בדיוק כפי שהוא שמור בקובץ ה־ZIP המקורי.
משווים ציונים על אותן שאלות
הסרת 148 השורות שבהן נמצאה כפילות, רק מהקבצים שבהם היא מופיעה, משאירה בין 894 ל־899 שאלות בכל קובץ. השורות האלה כוללות 23 מזהי שאלות נפרדים. הסרת כל 23 המזהים מכל קובץ משאירה את אותן 877 שאלות בכל אחד מהם.
בודקים מה מקור קטעי הקריאה
בקובץ האנגלי, 513 שאלות מפנות לדפים בקבוצת הפיתוח המקורית של FLORES-200. עבור 417 מהשאלות האלה, חיבור המשפטים המקוריים של FLORES לפי סדרם משחזר בדיוק את קטע הקריאה של Belebele. מספר ההתאמות המדויקות משתנה בין 116 קובצי השפה והכתב האחרים המשותפים לארכיונים.
בדקנו גם 45,279 שורות של Belebele שמקורן בכתובות URL של devtest ב־FLORES-200, על פני 117 קובצי השפה והכתב המשותפים, כולל אנגלית. בכל אחד מ־9 מזהי שאלות נפרדים היה לפחות קובץ אחד שבו קטע הקריאה הכיל משפט שלם מקבוצת הפיתוח. הבדיקה מתאימה בין כתובות URL של המקור ומשווה טקסט מדויק בארכיוני המקור. התיעוד של FLORES-200 · הארכיון המקורי של FLORES-200
בודקים את כלל התשובה הקצרה ביותר
בחירה עקבית בתשובה הקצרה ביותר הניבה ציון של 27.03% במבחן Belebele המלא. הכלל סופר תווים לאחר תקנון של תווי Unicode שקולים ותווי רווח. אם כמה אפשרויות קצרות באותה מידה, הוא מחלק נקודה אחת ביניהן בשווה וסופר רק את חלקה של התשובה המסומנת. ניחוש אקראי בהסתברות שווה בין 4 אפשרויות מניב ציון צפוי של 25%. המחברים המקוריים של Belebele השתמשו בחפיפת מילים ובאורך התשובה כדי לבדוק אם יש רמזים לתשובה. הם דיווחו גם על תוצאה של 28% ב־900 שאלות, באמצעות מודל שהשתמש במילים בלי להתחשב בסדר שלהן. המאמר על Belebele, סעיף 3.2 · נספח A.6
משווים ציונים עם קטעי קריאה
השתמשנו באותם 900 מזהי שאלות באנגלית ובווייטנאמית. הכלל בוחר באפשרות התשובה שבה השיעור הגבוה ביותר של מילים שונות המופיעות בשאלה או בקטע הקריאה שסופק. כשאין קטע קריאה, הוא משתמש בשאלה בלבד. אם כמה אפשרויות מקבלות אותו ציון, נקודה אחת מתחלקת ביניהן בשווה. בכל הרצה עם קטע חלופי נלקח קטע הקריאה מדף אחר, ואותו דף מקור חלופי משמש בשתי השפות.
| שפה | ללא קטע קריאה | קטע חלופי ראשון | קטע הקריאה המיועד | טווח הציונים על פני 16 קטעים חלופיים |
|---|---|---|---|---|
| אנגלית | 24.60% | 26.38% | 28.72% | מ־24.60% עד 27.89% |
| וייטנאמית | 25.98% | 24.80% | 27.17% | מ־23.58% עד 27.84% |
קטע הקריאה המיועד הניב ציון גבוה יותר מכל 16 הקטעים החלופיים באנגלית ומ־15 קטעים חלופיים בווייטנאמית. בהשוואה למצב ללא קטע קריאה, קטע הקריאה המיועד הגדיל את הניקוד ב־311 שאלות באנגלית וב־313 שאלות בווייטנאמית. הוא הפחית את הניקוד ב־218 שאלות באנגלית וב־234 שאלות בווייטנאמית. הקוד להתאמת מילים · התוצאות המצטברות
משנים את שפת השאלה
בקובצי הפיתוח באנגלית ובווייטנאמית של MLQA, מופיעים 511 מזהי שאלות בכל 4 הצירופים של שפת השאלה ושפת קטע הקריאה. עבור מזהים אלה, שינוי שפת השאלה מאנגלית לווייטנאמית תוך שמירה על קטע הקריאה באנגלית משאיר את קטע הקריאה ואת רשימת התשובות המתקבלות זהים לחלוטין. בהשוואה בתנאים האלה, שתי ההרצות מקבלות ניקוד על פי אותן תשובות באנגלית. המאמר על MLQA · מבנה הקבצים של MLQA
חוזרים על בדיקת התאמת המילים
הורידו את קובץ ה־ZIP המקורי של Belebele, את הסקריפט להתאמת מילים, את סקריפט העזר שלו ב־Python ואת התוצאות המצטברות שנשמרו. שמרו אותם באותה תיקייה. הסקריפט מאמת את גיבוב הארכיון וקורא את הקבצים באנגלית ובווייטנאמית. הוא מדווח על ציונים ביחידות ניקוד, כש־12 יחידות שוות לתשובה נכונה אחת. כדי לחזור על ההשוואה, השתמשו ב־Python 3.12.
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json