# ציון zero-shot עשוי להשתנות כשאינדקסי תוויות ה-NLI משתנים

שתי קבוצות בדיוניות של שלושה לוגיטים מניבות דירוגים הפוכים בסיווג מרובה תוויות, כשהן מסודרות לפי שתי תצורות אמיתיות של מודלים. גם המסלול של מועמד יחיד משנה את הציון. המסלול הבלעדי של שני מועמדים מניב אותו דירוג בשני הסידורים. ההשוואה בודקת את מנגנון הניקוד של zero-shot ב-Transformers 4.55.0 וב-5.23.0, באמצעות מטא-נתונים של תצורות ציבוריות וללא הרצת מודל.

## הצמד המצופה והצמד שבשימוש

צינור סיווג ה-zero-shot בונה הנחה והשערה לכל תווית מועמדת. בתיעוד הניקוד לסיווג מרובה תוויות מתוארת פעולת softmax על הלוגיטים של גרירה וסתירה לכל מועמדת. בשתי הגרסאות שנבדקו, מנגנון הניקוד מאתר את הגרירה ב-`label2id`. הוא משתמש בלוגיט האחרון כקלט השני כשאינדקס הגרירה הוא 0, ובאינדקס 0 בכל מקרה אחר. אותו ענף פועל גם כשיש מועמדת אחת בלבד. [תיעוד הניקוד](https://huggingface.co/docs/transformers/main_classes/pipelines#transformers.ZeroShotClassificationPipeline.__call__) · [מנגנון הניקוד של 4.55.0](https://github.com/huggingface/transformers/blob/06f8004e5cd9d06cfbffc3f47afb6c2b43bcb3d2/src/transformers/pipelines/zero_shot_classification.py#L244-L271) · [מנגנון הניקוד של 5.23.0](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/src/transformers/pipelines/zero_shot_classification.py#L235-L261)

| תצורה שפורסמה | אינדקס 0 | אינדקס 1 | אינדקס 2 | הלוגיט שמוצמד לגרירה |
| --- | --- | --- | --- | --- |
| aiface/ModernBERT-large_nli | גרירה | סתירה | ניטרלי | ניטרלי |
| facebook/bart-large-mnli | סתירה | ניטרלי | גרירה | סתירה |

בשתי התצורות יש מפות תוויות תואמות לשני הכיוונים. הן קובעות את המיפוי המוצהר. הניסוי אינו מודד מה למדו המודלים בהתאמה או באיזו תדירות הלוגיטים האמיתיים שלהם היו גורמים לשינוי בדירוג. [תצורת ModernBERT](https://huggingface.co/aiface/ModernBERT-large_nli/blob/4f4d21a8351871d2ab4b6bf466b3952d096955bf/config.json) · [תצורת BART](https://huggingface.co/facebook/bart-large-mnli/blob/d7645e127eaf1aefc7862fd59a17a5aa8558b8ce/config.json)

## הדירוג משתנה במערך בדיקה מבוקר

אותם לוגיטים סמנטיים סודרו מחדש לפי כל אחת מהתצורות. לתווית A יש גרירה 2, סתירה 0 וניטרלי 4. לתווית B יש גרירה 1, סתירה 2 וניטרלי −1. חישוב הייחוס משתמש בשתי המחלקות המצוינות בתיעוד. התוצאות זהות בשתי הגרסאות.

| מסלול הניקוד | תווית A | תווית B | הציון הגבוה יותר |
| --- | ---: | ---: | --- |
| גרירה וסתירה מוצהרת | 0.880797 | 0.268941 | A |
| סיווג מרובה תוויות לפי מיפוי ModernBERT | 0.119203 | 0.880797 | B |
| סיווג מרובה תוויות לפי מיפוי BART | 0.880797 | 0.268941 | A |
| מסלול בלעדי של שני מועמדים, בשני המיפויים | 0.731059 | 0.268941 | A |

כשיש רק את תווית A וערך ברירת המחדל הוא `multi_label=False`, אותו ענף נותן 0.119203 למיפוי ModernBERT ו-0.880797 ל-BART. מתוך כל שש התמורות של שלוש התוויות השונות, ענף הסיווג מרובה התוויות נותן ציונים התואמים למיקום הסתירה המוצהר בשלוש תמורות ולמיקום הניטרלי בשלוש האחרות. אלה שישה סידורים אפשריים במערך בדיקה. המספר אינו מספק אומדן לשיעור המודלים שפורסמו ומושפעים מכך. [הפלט המלא](https://sapien1.com/research/zero-shot-nli-label-order/observations.json)

לצורך הערכת zero-shot, יש לשמר את גרסת נקודת הבדיקה, מיפוי המחלקות, גרסת ספריית הניקוד, מספר המועמדים וההגדרה לסיווג מרובה תוויות. לפני השוואת ציונים עצמאיים בין נקודות בדיקה, יש לבדוק באילו לוגיטים מסלול הניקוד משתמש בפועל. מפת תוויות צריכה לתאר את סדר הפלט של ראש המודל הקיים. עריכת התצורה לבדה אינה משנה את קואורדינטות הפלט שלו.

## שחזור הבדיקה

יש להריץ `python3 check.py | cmp - observations.json` כשבדיקת כשל בצינור הפקודות מופעלת ו-NumPy זמין. כלי הבדיקה מאמת את הבתים של שני קובצי מקור של צינור העיבוד ושני קובצי תצורת מודל, בסך כולל של 27,139 בתים. הוא מריץ רק את המתודות המקובעות לאיתור אינדקס הגרירה ולעיבוד הציון לאחר החישוב, בתוך מחלקה קטנה וללא התלויות של החבילה. הוא מספק מערכי float32 דרך הממשק המצופה מקלטי הטנזור של מנגנון הניקוד. חישוב הייחוס העצמאי משתמש בצורה הלוגיסטית של softmax לשתי מחלקות. החבילה בודקת את צמצום הציונים ואת מיונם. היא אינה מריצה טוקנייזר, מודל, מערך נתונים, אתחול מלא של הספרייה או מבחן ביצועים.

מאגר Transformers מופץ ברישיון Apache 2.0. רישיונות שני כרטיסי המודל סומנו כ-Apache 2.0 וכ-MIT, בהתאמה. חבילה זו משתמשת בעובדות ובמזהים הציבוריים של מפת התוויות. כלי הבדיקה מושך את קובצי המקור בזמן הריצה ואינו כולל קוד מקור חיצוני, משקלי מודל, טקסט מכרטיסי מודל או דוגמאות. [כלי הבדיקה](https://sapien1.com/research/zero-shot-nli-label-order/check.py) · [רישיון Transformers](https://github.com/huggingface/transformers/blob/52b080b6416a7897e2af90febeb4dfad22b84d19/LICENSE)
