# איך לבדוק אם המודל משתמש בקטע הקריאה

מציגים למודל את אותן שאלות פעמיים, פעם עם קטע הקריאה ופעם בלעדיו. משאירים את השאלות, אפשרויות התשובה וכללי הניקוד כפי שהיו. משווים בין הציונים כדי לראות עד כמה הקטע שסיפקתם עזר בשאלות האלה. אם אלה שאלות רב־ברירה, מנסים פעם נוספת עם אפשרויות התשובה בלבד. כלל שבוחר תמיד את האפשרות הקצרה ביותר קיבל 27.03% במבחן Belebele המלא. אם מנחשים ולכל אפשרות יש סיכוי שווה להיבחר, הציון הצפוי הוא 25%. [בדיקת אורך התשובות ב־Belebele](https://sapien1.com/he/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## משנים בכל פעם רק דבר אחד במה שהמודל מקבל

| מה המודל רואה | מה משווים |
| --- | --- |
| קטע, שאלה ואפשרויות תשובה | שיעור התשובות הנכונות כשהכול מוצג |
| שאלה ואפשרויות תשובה | שיעור התשובות הנכונות בלי הקטע |
| אפשרויות תשובה בלבד | שיעור התשובות הנכונות לפי האפשרויות בלבד |

משתמשים בכל פעם באותו מודל ובאותן הגדרות. סופרים כמה תשובות שגויות הפכו לנכונות אחרי הוספת הקטע, וכמה תשובות נכונות הפכו לשגויות. המספרים האלה מסבירים איך הציון יכול להשתנות רק קצת, גם כשהמודל עונה נכון על שאלות שונות בכל פעם. במבחן שבו המודל כותב את התשובה בעצמו, משווים את שתי הבדיקות הראשונות בלי אפשרויות ובשתיהן מקבלים אותן תשובות כנכונות.

## בודקים אילו תשובות הפכו לנכונות ואילו לשגויות

נניח שהמודל עונה נכון על 70 מתוך 100 שאלות בשתי הבדיקות. כשמשווים את התשובות לפי מזהה השאלה, רואים שב־62 שאלות הוא ענה נכון בשתיהן וב־22 שאלות הוא טעה בשתיהן. עם הקטע, שמונה תשובות שגויות הפכו לנכונות ושמונה תשובות נכונות הפכו לשגויות. הציון נשאר 70%, אבל אפשר לבדוק 16 שאלות כדי להבין איפה הקטע עזר ואיפה הוא הקשה.

## מנסים לבחור תשובה לפי מילים משותפות

מחברי Belebele בדקו אם מילים משותפות ואורך התשובה יכולים לספק רמזים. הם גם דיווחו שמודל שבדק רק אילו מילים הופיעו, בלי להתחשב בסדר שלהן, קיבל 28% על פני 900 שאלות. [המאמר על Belebele, סעיף 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [נספח A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

ניסינו כלל קבוע לבחירת תשובה לפי מילים משותפות באותן 900 שאלות של Belebele באנגלית ובווייטנאמית. בדקנו שלושה מצבים: בלי קטע, עם הקטע ששייך לשאלה או עם קטע מדף אחר. בכל אפשרות תשובה סופרים כל מילה פעם אחת ומחשבים איזה חלק מהמילים מופיע גם בשאלה או בקטע שסיפקנו. בלי קטע בודקים רק את השאלה. הכלל בוחר את האפשרות עם השיעור הגבוה ביותר. אם כמה אפשרויות חולקות את המקום הראשון, מחלקים ביניהן נקודה אחת שווה בשווה וסופרים רק את החלק של האפשרות שסומנה כנכונה. בכל שאלה, הקטע החלופי באנגלית והקטע החלופי בווייטנאמית הגיעו מאותו דף אחר, כל אחד בשפה שלו. [קוד](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [תוצאות](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| שפה | בלי קטע | קטע מדף אחר | הקטע ששייך לשאלה |
| --- | ---: | ---: | ---: |
| אנגלית | 24.60% | 26.38% | 28.72% |
| וייטנאמית | 25.98% | 24.80% | 27.17% |

בהשוואה הראשונה, הקטע ששייך לשאלה נתן את הציון הגבוה ביותר בשתי השפות. אחר כך ניסינו 15 דרכים נוספות להחליף את הקטעים. בכל 16 ההחלפות הציונים באנגלית נעו בין 24.60% ל־27.89%, ובווייטנאמית בין 23.58% ל־27.84%. הקטע ששייך לשאלה קיבל ציון גבוה יותר מכל 16 ההחלפות באנגלית ומ־15 מהן בווייטנאמית. כדאי לנסות כמה קטעים חלופיים כדי שהמסקנה תהיה תלויה פחות בדף שבחרתם. [תוצאות כל ההחלפות](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

בהשוואה לבדיקה בלי קטע, הוספת הקטע ששייך לשאלה העלתה את הניקוד ב־311 שאלות באנגלית וב־313 בווייטנאמית. היא הורידה את הניקוד ב־218 שאלות באנגלית וב־234 בווייטנאמית. אם משווים בין הכלל הזה למודל, מחשבים לשניהם את הציון על אותן שאלות.

## משתמשים באותן שאלות ובאותם כללי ניקוד

שומרים את מזהה השאלה עם כל תשובה. ב־122 הקבצים של Belebele יש אותם 900 מזהי שאלות, אבל ב־52 קבצים הסדר שונה מהסדר באנגלית. אם מוציאים שאלות שבהן לשתי אפשרויות יש טקסט זהה, מוציאים את אותם מזהים מכל הבדיקות שמשווים. שומרים את האות של האפשרות שנבחרה כדי שאפשר יהיה להבדיל בין שתי אפשרויות עם אותן מילים בזמן הניקוד. [שחזור בדיקת סדר השאלות](https://sapien1.com/he/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [סינון שאלות](https://sapien1.com/he/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## בודקים מה המודל אולי כבר ראה

תשובה נכונה בלי הקטע יכולה להגיע מידע קודם, מרמזים בשאלה או באפשרויות, או מניחוש. אם כיווננתם את המודל בעזרת ערכת הפיתוח של FLORES-200 ועכשיו רוצים לבדוק אותו ב־Belebele, אפשר לסנן שאלות שמקורן בכתובות של ערכת הפיתוח. כדאי לבדוק גם את הטקסט עצמו. בקבצים המקוריים, בתשע שאלות שהגיעו מכתובות אחרות עדיין הופיע משפט מערכת הפיתוח לפחות באחת השפות או מערכות הכתב שנבדקו. [בדיקת קטעי הקריאה של Belebele](https://sapien1.com/he/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## כשמחליפים את שפת השאלה, שומרים על אותו קטע

כדי לדעת אם שאלה בשפה אחרת משנה את התוצאה, עורכים את ההשוואה הזאת בנפרד. בקובצי MLQA באנגלית ובווייטנאמית שבדקנו, היו 511 מזהי שאלות שבהם אפשר להחליף את שפת השאלה ולהשאיר בדיוק את אותו קטע באנגלית ואת אותן תשובות שמתקבלות כנכונות. נותנים ציון בשתי הבדיקות לפי אותן תשובות באנגלית. [שאלות מקבילות ב־MLQA](https://sapien1.com/he/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
