מחקר
איך לבחור מבחן הבנת הנקרא בכמה שפות
בחרו מבחן שמבקש מהמודל לעשות את מה שהמשתמשים צריכים. מציאת הקטע המתאים, מענה לפי קטע נתון והבנת שאלה בשפה אחרת הן מיומנויות שונות. בדקו כל אחת בנפרד כדי לראות איזה שלב כדאי לבדוק מקרוב.
| מה רוצים לבדוק | מאיפה מתחילים | מה המודל עושה |
|---|---|---|
| האם הוא מוצא את החלק המתאים במאמר? | TyDiQA-SelectP | בוחר קטע מתוך מאמר אחד או מציין שאין בו קטע שעונה על השאלה. |
| האם הוא מוצא את המילים שעונות על השאלה? | TyDiQA-GoldP | מחלץ את מילות התשובה מתוך קטע שמכיל אותן. |
| האם הוא עונה על אותן שאלות בכמה שפות? | XQuAD או Belebele | עונה לפי קטעים מתורגמים ב־XQuAD או בוחר תשובה אחת מתוך ארבע ב־Belebele. |
| האם הוא יכול לענות כשהשאלה והקטע בשפות שונות? | MLQA | מוצא את התשובה בקטע שנכתב בשפה אחרת. |
בדקו אם המודל מצליח למצוא את התשובה
השתמשו ב־TyDiQA-SelectP אם המודל צריך למצוא את הקטע המתאים במאמר. השתמשו ב־TyDiQA-MinSpan אם הוא גם צריך לתת תשובה קצרה, לענות בכן או לא, או לציין שאין תשובה במאמר. השאלות של TyDi QA נכתבו ישירות בכל אחת מהשפות. תיאור המשימות של TyDi QA
כדי לבדוק כמה קטע קצר יותר עוזר, בקשו מאותו מודל תשובה כתובה פעמיים. פעם אחת, תנו לו את המאמר המלא. בפעם השנייה, תנו לו קטע שהועתק בדיוק מאותו מאמר. השתמשו באותן הגדרות, באותה שאלה, באותה צורת תשובה, באותן תשובות קבילות ובאותו כלל ניקוד. בדקו שכל תשובה קבילה מופיעה בשני הטקסטים. אם אתם משתמשים בפריט מתוך Gold Passage כפי שפורסם, בדקו את הקטע ואת רשימת התשובות שלו. השאלה יכולה להיות זהה בשני הקבצים גם כשהקטע או התשובות הקבילות שונים. אפשר להיעזר בקובצי הפיתוח של TyDi QA כדי להכין את ההשוואה. כל 5,077 השאלות של Gold Passage מופיעות גם בקבוצה הראשית, שמכילה 18,670 שאלות. ב־Gold Passage אין יפנית או תאית. מתוך תשע השפות המשותפות לקבצים, הושמטו ממנו 1,285 שאלות עם תשובות כתובות שסומנו. התאימו בין שאלות לפי השפה, כותרת המאמר והניסוח המדויק של השאלה. השתמשו רק בזוגות שיש להם התאמה יחידה. השוואת שאלות ב־TyDi QA
השתמשו באותן שאלות כשאתם משווים שפות
XQuAD נותן למודל גרסאות מתורגמות של אותן שאלות ואותם קטעים. 1,190 השאלות באנגלית מגיעות מקבוצת הפיתוח של SQuAD 1.1. לקבצים המתורגמים שבדקנו יש אותם מזהי שאלות. אם השתמשתם בקבוצת הפיתוח של SQuAD כדי לכוונן את המודל, בדקו אילו שאלות חופפות לפני שתשתמשו ב־XQuAD כמבחן על שאלות חדשות. המאמר המקורי על XQuAD · בדיקת שאלות שנעשה בהן שימוש חוזר
השתמשו ב־Belebele כדי שהמודל יבחר תשובה אחת מתוך ארבע. 122 הקבצים לפי שפה ומערכת כתב חולקים 900 מזהי שאלות. שמרו את המספר או האות של האפשרות שנבחרה. לשתי אפשרויות יכול להיות טקסט זהה, ולכן הטקסט לבדו לא תמיד מבהיר מה המודל בחר. אם מוציאים שאלות כאלה, משתמשים באותם מזהים שנותרו בכל השפות שמשווים. השוואת ציוני הבנת הנקרא בין שפות
שנו את שפת השאלה ושמרו על אותו קטע
השתמשו ב־MLQA אם, לדוגמה, דוברי וייטנאמית עשויים לשאול על מסמך באנגלית. בקובצי הפיתוח באנגלית ובווייטנאמית שבדקנו יש 511 שאלות משותפות שאפשר לשאול בכל אחת מהשפות, עם אותו קטע באנגלית ואותן תשובות קבילות בדיוק. תנו ציון לשתי הבדיקות לפי אותן תשובות באנגלית. כך אפשר לראות מה משתנה כשמחליפים את שפת השאלה. המאמר המקורי על MLQA · השוואת הקבצים באנגלית ובווייטנאמית
כדי לבדוק בנפרד כמה הקטע עוזר, שאלו את אותן שאלות עם הקטע ובלעדיו. בדיקה אם המודל משתמש בקטע
בדקו שהמבחן כולל את השפה שצריך
בתאית, השתמשו ב־TyDiQA-SelectP כדי לבדוק אם המודל מוצא את הקטע המתאים, ב־XQuAD כדי לבדוק אם הוא מוצא את מילות התשובה בקטע נתון, או ב־Belebele כדי לבדוק אם הוא בוחר את התשובה הנכונה. בקובץ הפיתוח של TyDiQA-GoldP אין שאלות בתאית. ערבית ואנגלית הן השפות היחידות בכל ארבע קבוצות הקבצים שהשווינו: TyDi QA הראשית, TyDi QA Gold Passage, XQuAD וקובצי הפיתוח של MLQA שבהם השאלה והקטע באותה שפה. בדיקת השפות במבחנים · קובצי השפה של Belebele
כשאתם מדווחים על ציונים, ציינו את שם המשימה, את השפות ואת מספר השאלות שנכללו בכל ציון. למשל, שתי שיטות הניקוד הרשמיות של TyDi QA משאירות את האנגלית מחוץ לממוצע הכללי, אף שהיא מופיעה בקבצים. כללי הניקוד של TyDi QA