מחקר
סינון לפי קובץ ייחוס משנה את תמהיל המשימות הציבורי של GDPval
קל יותר לפרש ציון של מבחן ביצועים כשיודעים אילו משימות יכולות להיכלל בו. בטבלת משימות הזהב הציבורית של GDPval, כל אחד מ־44 המקצועות מתחיל עם חמש משימות. אבל השוואה שדורשת קובץ ייחוס רשום של מומחה אינה יכולה להשתמש בכל שורה בטבלה באותו אופן: ב־35 מתוך 220 השורות רשימת deliverable_files ריקה.
הנתון הכולל הזה כבר מתועד במימוש GDPval של gbench. ספרנו כיצד הרשימות הריקות האלה מתפלגות בין ענפים ומקצועות באותה תמונת מצב מקובעת של GDPval. לכל 44 המקצועות עדיין יש לפחות שורה אחת שבה מופיע קובץ. אבל התמהיל שנותר אינו מתפלג באופן אחיד כמו בטבלה המקורית.
באילו משימות מופיע קובץ ייחוס שהכין מומחה?
הספירות האלה בודקות רק אם בטבלה רשום לפחות נתיב אחד לתוצר מומחה. נתיב רשום אינו הוכחה לכך שאפשר לגשת לקובץ או להציג אותו. רשימה ריקה אינה מעידה אם קיים קובץ ייחוס במקום כלשהו מחוץ לטבלה הזאת.
| ענף | שורות בטבלת הזהב הציבורית | עם תוצר רשום | עם רשימה ריקה |
|---|---|---|---|
| פיננסים וביטוח | 25 | 17 | 8 |
| ממשל | 25 | 22 | 3 |
| בריאות וסיוע סוציאלי | 25 | 22 | 3 |
| מידע | 25 | 14 | 11 |
| תעשייה | 25 | 25 | 0 |
| שירותים מקצועיים, מדעיים וטכניים | 25 | 24 | 1 |
| נדל״ן, השכרה והחכרה | 25 | 20 | 5 |
| מסחר קמעונאי | 20 | 16 | 4 |
| מסחר סיטונאי | 25 | 25 | 0 |
| סך הכול | 220 | 185 | 35 |
העמודות מציגות רישום ברשימה, ללא אימות של הגישה לקובץ או של האפשרות להציג אותו.
הטבלה מכילה 44 קבוצות של מקצוע וענף, ובכל אחת מהן חמש משימות. מתוכן, 22 שומרות על כל חמש השורות בסינון הזה, וב־22 נותרות בין שתיים לארבע שורות. כל מקצוע עדיין מיוצג, אבל עצם הייצוג כבר אינו מעיד שלכל מקצוע יש אותו מספר משימות.
ההבדל בין הענפים מועיל לפרשנות של נתון מצרפי. ענף המידע וענף התעשייה כוללים כל אחד 25 מתוך 220 השורות המקוריות, כלומר 11.4%. בסיכום היפותטי שבו כל משימה מקבלת משקל שווה ושכולל בדיוק את 185 השורות שבהן מופיע קובץ ברשימה, חלקו של ענף המידע יהיה 14/185, או 7.6%, וחלקה של התעשייה יהיה 25/185, או 13.5%. אלה חלקים מתוך המשימות, ולא ציוני מודל או הערכות של ערכם של מקצועות שונים.
האם המעריך יכול לקרוא את קובצי הייחוס?
החישוב של 185 שורות אינו המכנה הסופי לחישוב הציון של gbench. בתיעוד שלו מתוארות ארבע משימות נוספות שהתוצרים הרשומים שלהן אינם ניתנים להמרה לטקסט, כך שנותרות 181 משימות שקובצי הייחוס שלהן ניתנים להמרה לטקסט באותה תמונת מצב. לא המרנו את הקבצים האלה באופן עצמאי ולא הרצנו את gbench.
גם בלי לדעת לאילו ענפים שייכות ארבע המשימות האלה, הספירות מציבות גבול מועיל לקבוצה המתועדת שקובצי הייחוס שלה ניתנים להמרה לטקסט. אם מדובר בארבע שורות שונות מתוך 185 השורות שבהן מופיע קובץ ברשימה, נותרות לפחות 21 שורות בתעשייה ולכל היותר 14 שורות בענף המידע. במשקל שווה לכל משימה, הגבולות האלה הם בהתאמה 21/181 (11.6%) ו־14/181 (7.7%). בהרצה בפועל עשוי להיות מכנה שונה לחישוב הציון, משום שגם כישלונות ביצירת פלט, כישלונות של השופט ומספר הניסיונות לכל משימה משפיעים עליו. הספירות האלה אינן מתארות את התוצאות המקוריות של OpenAI, שדורגו בידי בני אדם.
לשיטות דירוג אחרות יש דרישות אחרות. במצב המחוון המתועד של NeMo Gym בקומיט 5d6429f, מודל שפה גדול המשמש כשופט מדרג תוצר מועמד לפי מחוון המשימה. קוד ההכנה שלו אינו מעתיק את רשימת deliverable_files של פלט המומחה, ואילו מאמת המחוון שלו מחזיר missing_rubric אם שני שדות המחוון ריקים. יש להכין לשימוש את כל קובצי הקלט הרשומים של המשימה, ועדיין נדרשים פלט מועמד ושופט; קריאת ההכנה אינה מקבעת גרסה של מערך הנתונים. לא הרצנו את NeMo Gym ולא מדדנו את הכיסוי שלו. ציון המחוון שלו ושיעור הניצחונות או התיקו של gbench הם מדדים שונים.
מה השופט יכול לראות
זמינות קובצי הייחוס היא רק חלק מההשוואה. התיעוד של gbench כבר מציין ש־32 מתוך 220 המחוונים חורגים ממגבלת ברירת המחדל שלו, שהיא 8,000 תווים למחוון. רכיב העיצוב שלו שומר קריטריונים שלמים בסדר המקורי שלהם עד שהקריטריון הבא יחרוג מהמגבלה, ואז מוסיף סימון חיתוך; אם הקריטריון הראשון לבדו חורג מהמגבלה, מוצג רק חלק ממנו. ספירת תווים אינה ספירת טוקנים.
החלנו את רכיב העיצוב המקובע הזה על טבלת המשימות. מבין 185 השורות שבהן רשום תוצר מומחה, 26 מחוונים ייחתכו במגבלת ברירת המחדל, ובסך הכול יושמטו מהשורות האלה 247 קריטריונים שלמים. תוצר רשום אינו בהכרח ניתן להמרה לטקסט, ויצירת פלט שנכשלה או הניבה פלט ריק עלולה למנוע קריאה לשופט, ולכן אלה אינן ספירות של השוואות שנשפטו. להמחשה, שינוי מגבלת רכיב העיצוב בלבד ל־12,000 או ל־16,000 תווים יגרום לחיתוך של שניים או אפס מחוונים, בהתאמה, מתוך אותם 185. לא הרצנו את ההגדרות האלה באמצעות מעריך או שופט. ספירת הקריטריונים שהושמטו אינה מעידה על חשיבותם או על השאלה אם הכרעת השופט הייתה משתנה; מגבלה גדולה יותר עשויה להשאיר פחות מקום ליתר התוכן בחלון הקשר בגודל קבוע. בדקו את פרטי החיתוך שנרשמו בהרצה בפועל לצד ספירות קובצי הייחוס והציונים שלה.
סקריפט בדיקת המחוונים משחזר את הספירות האלה באמצעות DuckDB 1.4.4. הוא מוריד זמנית את טבלת המשימות המקובעת המלאה ומעבד את טקסט המחוונים בזיכרון; הפלט שלו שומר ספירות מצרפיות, ללא מזהי משימות או טקסט מחוונים. הוא מוחק את הטבלה הזמנית לאחר הרצה תקינה. הוא מריץ רק את רכיב העיצוב של gbench שנבדק ואומת באמצעות גיבוב, במרחב שמות מוגבל שאינו ארגז חול לאבטחה. הארכיון כולל את הרישיון והודעת הזכויות של המקור. לאחר הגדרת DuckDB כמפורט להלן, אפשר להשתמש ב־Python 3.11 ליצירת הסביבה, להורדת הארכיון ולהרצה ב־macOS או ב־Linux:
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.jsonתיעוד הדרך ממשימות לציונים
בעת הגדרה או השוואה של הערכה, תעדו את גרסת מערך הנתונים, את סוג קובץ הייחוס הנדרש ואת כללי הזכאות. דווחו על ספירות לפי קבוצה בטבלה המקורית, לאחר בדיקות קובצי הייחוס ולאחר חישוב הציונים. תעדו בנפרד את הסיבות למקרים של היעדר קובץ ייחוס רשום, קובץ ייחוס שאינו קריא, כישלון ביצירת פלט והכרעת שופט שאי אפשר להשתמש בה. אחרת, נתון מצרפי יחיד עלול להסתיר אילו משימות הפסיקו לתרום לתוצאה.
ציינו גם כיצד משוקללים המשימות והניסיונות שנותרו. משקל שווה לכל משימה, משקל שווה לכל מקצוע ומשקל שווה לכל ניסיון עונים על שאלות שונות כאשר הספירות שונות. אף אחת מהשיטות אינה משלימה כשלעצמה ראיות חסרות; הסיכום המתאים תלוי במה שההערכה נועדה למדוד.
לגבי קבוצת משימות שאתם מתכננים בעצמכם, המדריך להערכת סוכנים מראה כיצד להגדיר בדיקות שניתן לצפות בתוצאותיהן ולפרש ניסויים חוזרים.
תעדו את הגרסה המדויקת של כל קובץ קלט
טבלת משימות מקובעת אינה מקבעת בהכרח כל קובץ שמעריך מוריד. בטבלת GDPval ציבורית מוקדמת יותר, בגרסה 4bf6426, ב־122 מתוך 220 שורות המשימות רשומים קובצי קלט. כל 262 כתובות ה־URL של קובצי הקלט הרשומים מצביעות לענף main המשתנה של המאגר. המטא־נתונים של הספק מצביעים על כך של־62 מאותם נתיבים היו גדלים ומזהי blob שונים בגרסה 11e7900; אותם 62 נתיבים מופיעים ב־20 שורות של הטבלה המוקדמת. אלה קלטים למשימות, הנפרדים מפלטי הייחוס של המומחים ב־deliverable_files שנספרו לעיל.
הדבר אינו מוכיח שבהערכה מסוימת נעשה שימוש בקלט שהשתנה, שקובץ כלשהו פגום או שציון השתנה. הוא כן מראה מדוע שימוש מאוחר יותר בכתובות המשתנות של טבלה שנשמרה עלול לבחור גרסה אחרת של קלט. לא ניתחנו את תוכנם של קובצי הקלט.
בקומיט 5c092d5 של Inspect Evals, רכיב הטעינה של GDPval מקבע את טבלת המשימות שלו לגרסה a3848a2. הטבלה הזאת זהה ברמת הבתים לטבלה המוקדמת יותר שלעיל, וגם המטא־נתונים של קובצי הקלט אצל הספק תואמים. רכיב הטעינה ממפה זוגות של כתובות URL מהטבלה למיפויי קבצים של דוגמאות; לפי התיעוד של Inspect, המיפויים האלה יכולים להשתמש בכתובות URL. לכן נתיב המקור הזה יכול להעביר כתובות URL משתנות לצד טבלה מקובעת. לא בדקנו את הורדת הקבצים או את המטמון של Inspect, ולא ביררנו במה נעשה שימוש בהרצה כלשהי.
מעריך יכול במקום זאת לפתור נתיבים יחסיים למערך הנתונים באותה גרסה בלתי משתנה כמו הטבלה שלו. מימוש gbench שנבדק כאן מספק במפורש את הגרסה המקובעת שלו בעת אחזור קבצים מצורפים. תעדו את הגרסה ובמידת האפשר אמתו את הקבצים ששימשו בפועל. תיעוד ההורדה של Hugging Face מסביר כיצד לפתור גרסה משתנה לקומיט לצורך הורדות עקביות.
סקריפט ניתוח כתובות קובצי הקלט משחזר את הספירות באמצעות DuckDB 1.4.4. הוא מוריד זמנית את טבלת המשימות המוקדמת יותר, מוחק אותה לאחר הרצה תקינה ואינו שומר בפלט טקסט משימות, מזהים פרטניים, נתיבי קלט או תוכן קלט. דגל אופציונלי בודק את כותרות התגובה של נתיב אחד ואת גרסת main הנוכחית; התוצאה עשויה להשתנות כאשר main משתנה. לצורך הבדיקה הזאת, הסקריפט שולח בקשות HEAD בלבד, גם בעת מעבר דרך הפניות, ואינו צופה בתוצאות שאינן זמינות. בדיקות באמצעות הספרייה הסטנדרטית של Python משוות את הטבלה והמטא־נתונים שקיבע Inspect ובוחנות את קוד המקור המקובע של רכיב הטעינה בלי להריץ אותו. בדיקת הגיבוב של הטבלה קוראת את הטבלה המלאה לזיכרון, אך אינה מנתחת או שומרת את תוכן המשימות שלה. הסקריפטים אינם מבקשים את גופי הקבצים של הקלט.
לאחר הגדרת DuckDB כמפורט להלן, אפשר להריץ את הבדיקות ב־macOS או ב־Linux באמצעות:
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.pyאיך ספרנו
לצורך מפקד זמינות קובצי הייחוס, בדקנו את טבלת Parquet בשם train בגרסת GDPval 11e7900cdcac61bc4daf59e65feb238acda98fbf, אימתנו שיש בה 220 מזהי משימות שונים וקיבצנו רק לפי ענף, מקצוע ואורך כל רשימת deliverable_files. סקריפט הניתוח בודק את הגיבוב של המקור ומשחזר את הספירות באמצעות DuckDB 1.4.4. הוא מוריד זמנית את הטבלה המלאה ומוחק אותה לאחר הרצה תקינה; הפלט שלו אינו שומר פרומפטים, מחוונים, מזהי משימות פרטניים, נתיבי תוצרים או תוצרים. לא הורצו מודל, מבחן ביצועים או רכיב להמרת קובצי ייחוס.
כדי לשחזר את התוצאות מקומית באמצעות Python 3.9 ואילך ב־macOS או ב־Linux, ודאו ש־python3 בוחר בגרסה הזאת:
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.jsonsapien1 מעמידה את הסקריפטים האלה להורדה ולהרצה מקומית; לא צוין רישיון נוסף לשינוי שלהם או להפצה מחדש. תנאי השימוש במערך נתוני המקור נפרדים מכך.
OpenAI מתארת את תת־קבוצת הזהב של 220 המשימות ככזו שפורסמה כקוד פתוח. כרטיס מערך הנתונים המקובע מכיל סימון אזהרה של מבחן הביצועים ואינו מכיל שדה רישיון; בדקו את התנאים החלים על השימוש שלכם, ואל תסיקו אותם מתווית בכרטיס או מהספירה הזאת. שמות הענפים והמקצועות ומבחן הביצועים מיוחסים למקורם.