דילוג לתוכן הראשי

תפריט

מחקר

ציון zero-shot עשוי להשתנות כשאינדקסי תוויות ה-NLI משתנים

שפה: עברית

שתי קבוצות בדיוניות של שלושה לוגיטים מניבות דירוגים הפוכים בסיווג מרובה תוויות, כשהן מסודרות לפי שתי תצורות אמיתיות של מודלים. גם המסלול של מועמד יחיד משנה את הציון. המסלול הבלעדי של שני מועמדים מניב אותו דירוג בשני הסידורים. ההשוואה בודקת את מנגנון הניקוד של zero-shot ב-Transformers 4.55.0 וב-5.23.0, באמצעות מטא-נתונים של תצורות ציבוריות וללא הרצת מודל.

הצמד המצופה והצמד שבשימוש

צינור סיווג ה-zero-shot בונה הנחה והשערה לכל תווית מועמדת. בתיעוד הניקוד לסיווג מרובה תוויות מתוארת פעולת softmax על הלוגיטים של גרירה וסתירה לכל מועמדת. בשתי הגרסאות שנבדקו, מנגנון הניקוד מאתר את הגרירה ב-label2id. הוא משתמש בלוגיט האחרון כקלט השני כשאינדקס הגרירה הוא 0, ובאינדקס 0 בכל מקרה אחר. אותו ענף פועל גם כשיש מועמדת אחת בלבד. תיעוד הניקוד · מנגנון הניקוד של 4.55.0 · מנגנון הניקוד של 5.23.0

תצורה שפורסמהאינדקס 0אינדקס 1אינדקס 2הלוגיט שמוצמד לגרירה
aiface/ModernBERT-large_nliגרירהסתירהניטרליניטרלי
facebook/bart-large-mnliסתירהניטרליגרירהסתירה

בשתי התצורות יש מפות תוויות תואמות לשני הכיוונים. הן קובעות את המיפוי המוצהר. הניסוי אינו מודד מה למדו המודלים בהתאמה או באיזו תדירות הלוגיטים האמיתיים שלהם היו גורמים לשינוי בדירוג. תצורת ModernBERT · תצורת BART

הדירוג משתנה במערך בדיקה מבוקר

אותם לוגיטים סמנטיים סודרו מחדש לפי כל אחת מהתצורות. לתווית A יש גרירה 2, סתירה 0 וניטרלי 4. לתווית B יש גרירה 1, סתירה 2 וניטרלי −1. חישוב הייחוס משתמש בשתי המחלקות המצוינות בתיעוד. התוצאות זהות בשתי הגרסאות.

מסלול הניקודתווית Aתווית Bהציון הגבוה יותר
גרירה וסתירה מוצהרת0.8807970.268941A
סיווג מרובה תוויות לפי מיפוי ModernBERT0.1192030.880797B
סיווג מרובה תוויות לפי מיפוי BART0.8807970.268941A
מסלול בלעדי של שני מועמדים, בשני המיפויים0.7310590.268941A

כשיש רק את תווית A וערך ברירת המחדל הוא multi_label=False, אותו ענף נותן 0.119203 למיפוי ModernBERT ו-0.880797 ל-BART. מתוך כל שש התמורות של שלוש התוויות השונות, ענף הסיווג מרובה התוויות נותן ציונים התואמים למיקום הסתירה המוצהר בשלוש תמורות ולמיקום הניטרלי בשלוש האחרות. אלה שישה סידורים אפשריים במערך בדיקה. המספר אינו מספק אומדן לשיעור המודלים שפורסמו ומושפעים מכך. הפלט המלא

לצורך הערכת zero-shot, יש לשמר את גרסת נקודת הבדיקה, מיפוי המחלקות, גרסת ספריית הניקוד, מספר המועמדים וההגדרה לסיווג מרובה תוויות. לפני השוואת ציונים עצמאיים בין נקודות בדיקה, יש לבדוק באילו לוגיטים מסלול הניקוד משתמש בפועל. מפת תוויות צריכה לתאר את סדר הפלט של ראש המודל הקיים. עריכת התצורה לבדה אינה משנה את קואורדינטות הפלט שלו.

שחזור הבדיקה

יש להריץ python3 check.py | cmp - observations.json כשבדיקת כשל בצינור הפקודות מופעלת ו-NumPy זמין. כלי הבדיקה מאמת את הבתים של שני קובצי מקור של צינור העיבוד ושני קובצי תצורת מודל, בסך כולל של 27,139 בתים. הוא מריץ רק את המתודות המקובעות לאיתור אינדקס הגרירה ולעיבוד הציון לאחר החישוב, בתוך מחלקה קטנה וללא התלויות של החבילה. הוא מספק מערכי float32 דרך הממשק המצופה מקלטי הטנזור של מנגנון הניקוד. חישוב הייחוס העצמאי משתמש בצורה הלוגיסטית של softmax לשתי מחלקות. החבילה בודקת את צמצום הציונים ואת מיונם. היא אינה מריצה טוקנייזר, מודל, מערך נתונים, אתחול מלא של הספרייה או מבחן ביצועים.

מאגר Transformers מופץ ברישיון Apache 2.0. רישיונות שני כרטיסי המודל סומנו כ-Apache 2.0 וכ-MIT, בהתאמה. חבילה זו משתמשת בעובדות ובמזהים הציבוריים של מפת התוויות. כלי הבדיקה מושך את קובצי המקור בזמן הריצה ואינו כולל קוד מקור חיצוני, משקלי מודל, טקסט מכרטיסי מודל או דוגמאות. כלי הבדיקה · רישיון Transformers