מחקר
איך להשוות ציונים במבחני הבנת הנקרא עם שאלות רב־ברירה בשפות שונות
משתמשים באותן שאלות ובאותם כללי ניקוד בכל שפה. בודקים אם יש אפשרויות תשובה זהות ואם המודל אולי כבר קרא חלק מהקטעים. במבחן הבנת הנקרא הרב־לשוני Belebele העתקנו מכל קובץ את מספרי האפשרויות שסומנו כנכונות וסידרנו אותם לפי סדר השאלות באנגלית. כשהתאמנו את התשובות לפי מספר השורה בכל קובץ, קיבלנו 73.55%. כשהתאמנו לפי מזהה השאלה, קיבלנו 100%. שחזור הניקוד ב־Belebele
מתאימים כל תשובה לשאלה שלה
שומרים לכל תשובה את השפה, את מזהה השאלה ואת המספר או האות של האפשרות שנבחרה. ב־122 הקבצים של Belebele יש אותם 900 מזהי שאלות, אבל ב־52 קבצים הסדר שונה מהסדר באנגלית. בבדיקה לפי מספר השורה, 9,838 תשובות שויכו לשאלה הלא נכונה ובכל זאת קיבלו ניקוד, כי מספר האפשרות שנבחרה התאים במקרה. בדיקת סדר השאלות
בודקים אם לשתי אפשרויות יש אותו טקסט
נניח שבאפשרויות B ו־D כתוב 12, ובקובץ B מסומנת כנכונה. אם המודל עונה 12, יודעים מה כתוב בתשובה. כדי לתת ציון לפי מיקום האפשרות ברשימה צריך גם את האות שלה. ב־148 שורות ב־Belebele הטקסט של התשובה שסומנה כנכונה מופיע גם באפשרות אחרת. כשהעתקנו את הטקסטים האלה, בחירה באפשרות הראשונה שהתאימה עלתה לנו ב־16 נקודות, ובחירה באחרונה עלתה ב־133 נקודות. מחליטים אם לתת ניקוד לפי הסימון של האפשרות או לפי הטקסט שלה, ואז בודקים את האפשרויות לפי אותו כלל. אפשרויות עם טקסט זהה
משווים ציונים על אותן שאלות
אם מוציאים את 148 השורות עם אפשרויות זהות רק מהקבצים שבהם הן מופיעות, נשארות בכל שפה בין 894 ל־899 שאלות. להשוואה על אותן שאלות בכל שפה, מוציאים מכל קובץ את כל 23 מזהי השאלות שבהן נמצאה כפילות. כך נשארות 877 שאלות משותפות. מציינים כמה שאלות היו בהתחלה וכמה נכנסו לחישוב הציון. השוואה בין דרכים לסינון שאלות
בודקים אילו קטעים המודל אולי כבר קרא
אם השתמשתם בערכת הפיתוח של FLORES-200 כדי לכוונן את המודל, בדקו אם אותם קטעים מופיעים גם ב־Belebele. בקובץ האנגלי 513 שאלות מפנות לדפים שנכללו בערכת הפיתוח. ב־417 מהן, חיבור המשפטים של FLORES נותן קטע זהה לחלוטין לקטע של Belebele. מספר ההתאמות המדויקות משתנה בין 116 הקבצים הנוספים של שפות ומערכות כתב שנכללים בשני מאגרי הנתונים. בדקו את הטקסט בשפה שבה אתם עורכים את המבחן. שימוש חוזר בקטעים באנגלית · שימוש חוזר בקטעים מתורגמים