מחקר
אפשר להשוות שני ציונים במבחן השוואתי?
התחילו בהחלטה שהציונים אמורים לעזור לקבל. כדי לצטט תוצאה היסטורית, זהו במדויק את הטבלה שפורסמה. כדי לבחור בין שני סוכנים, בדקו שהם התמודדו עם אותם מקרים לפי אותם כללים. לאחר מכן השוו לפי התוצאות במקרים האלה. ארבע דוגמאות ציבוריות מראות למה הבדיקות חשובות.
מצאו את הטבלה שאליה מתייחס הציטוט
LiveBench השתמש באותה תווית של לוח הדירוג, 2025-05-30, לשתי טבלאות מקור שונות. בגרסאות הקבועות של שתי הטבלאות מופיעות 30 תוויות מודלים משותפות. ב־28 מהן, לפחות אחד משני הציונים בקטגוריה הנפרדת Coding גבוה יותר בטבלה המאוחרת. מתחזקי הפרויקט מסבירים שהריצו מחדש את Agentic Coding לאחר שינוי מסגרת ההערכה ומגבלת הצעדים. טבלאות המקור אינן מראות מה הסיבה לשינויים בקטגוריית Coding. שמרו את גרסת הטבלה או את ערך הגיבוב של הקובץ לצד המספר המצוטט, ושמרו את תווית התאריך של המבחן בשדה נפרד. הטבלה המוקדמת של LiveBench · הטבלה המאוחרת של LiveBench · יומן השינויים של המתחזקים
התאימו את המקרים לפני השוואת שיעורי ההצלחה
כל אחת משתי תקרות המשאבים שבדוגמה בוחרת 44 מתוך 66 משימות ב־Terminal-Bench v4.1.0. רק 36 מזהי משימות מופיעים בשתי הקבוצות. התקרות הן 4 יחידות CPU, זיכרון בנפח 8,192 MB ואחסון בנפח 10,240 MB, או 2 יחידות CPU, זיכרון בנפח 16,384 MB ואחסון בנפח 20,480 MB. מסנן המשאבים מחיל כל תקרה על הערכים המוצהרים של סביבת המשימה ושל סביבת האימות. התוצאות הבאות דמיוניות. הגדרות המשאבים והמסנן של Terminal-Bench
נניח שסוכן א׳ פתר 32 מקרים בבחירה הראשונה ושסוכן ב׳ פתר 34 מקרים בשנייה. בכל בחירה יש שמונה מקרים מחוץ לקבוצה המשותפת. לכן סוכן א׳ יכול היה לפתור בין 24 ל־32 מתוך 36 המקרים המשותפים, וסוכן ב׳ בין 26 ל־34. אם סוכן א׳ פתר 32 מקרים משותפים וסוכן ב׳ פתר 26, סוכן א׳ מוביל בשישה מקרים בקבוצה המשותפת. אם סוכן א׳ פתר 24 וסוכן ב׳ פתר 34, סוכן ב׳ מוביל בעשרה. שני התרחישים מתיישבים עם הסכומים שדווחו.
| תוצאה דמיונית | מקרים שנפתרו מתוך 44 בקבוצה שלו | מספר אפשרי של מקרים שנפתרו מתוך 36 המקרים המשותפים |
|---|---|---|
| סוכן א׳ | 32 | 24–32 |
| סוכן ב׳ | 34 | 26–34 |
בדוגמה הזו, הסכומים אינם מכריעים מה סדר הסוכנים במקרים המשותפים. בקשו תוצאות לכל מקרה או העריכו את שני הסוכנים לפי אותה רשימת מקרים מאומתת. אם בהרצות נעשה שימוש בתקציבי משאבים שונים, הציגו את התוצאה כהשוואה בין התצורות האלה. כדי לבודד את השפעת החלפת הסוכן, השאירו את התקציב ואת שאר תנאי ההרצה קבועים. לפני הדירוג קבעו מכנה משותף והחליטו כיצד לספור הרצות חסרות, כושלות או ללא ציון. דווחו על הכיסוי שהתקבל.
ודאו שמנגנון מתן הציונים השתמש באותם נתוני קלט
תמונות המצב של בדיקות SWE-bench Verified מפברואר ומאוגוסט 2026 מכילות את אותם 500 מזהי מקרים. שני עדכונים באוגוסט הסירו רשומה אחת של בדיקת רגרסיה צפויה במקרה של Astropy וחמש רשומות במקרה של Django. הגרסאות מראות מה השתנה ברשימות שנשמרו. כדי למדוד את ההשפעה על הציונים, העריכו את אותם תיקונים מוצעים בשתי הגרסאות כששאר ההגדרות קבועות. בהשוואה בין סוכנים, השתמשו באותה גרסת מערך נתונים, באותו מנגנון ציונים, באותה סביבת הרצה ובאותן אפשרויות הערכה לשניהם. תמונת מצב של הבדיקות בפברואר · תמונת מצב של הבדיקות באוגוסט · שינוי ראשון ב־SWE-bench · שינוי שני ב־SWE-bench · קוד המקור של מנגנון הציונים
אמתו את קובץ התוצאות לפי מקרה לפני השימוש בו
Every Eval Ever מספק רשומות מצטברות ומפתח לפי אוסף, כדי למצוא תוצאות לדוגמאות בודדות. בגרסה קבועה אחת של מאגר הנתונים, שני המקורות מצהירים על ערכי SHA-256 שונים לקובצי הדוגמאות המקושרים בכל 14 הרשומות במפתח MMLU-Pro ובכל 11 הרשומות במפתח gsm8k. בכל אוסף הורד קובץ הדוגמה הראשון ברשימה, וערך הגיבוב שלו התאים לערך במפתח. סכום הביקורת ברשומה המצטברת היה שונה. הבדיקה מצביעה על אי־התאמה ברמת הקובץ. היא אינה בודקת את נכונות הציונים או את סיבת אי־ההתאמה. מפתח MMLU-Pro · מפתח GSM8K · דוגמה לרשומה מצטברת של GSM8K
שמרו את מיקום הקובץ שאינו משתנה ואת ערך הגיבוב המאומת לצד התוצאות המזווגות שבהן אתם משתמשים. אם הצהרות המפרסם סותרות זו את זו, פתרו את אי־ההתאמה לפני שתשתמשו בקובץ כראיה לציון.
תעדו את ההשוואה
| פריט | מה לשמור |
|---|---|
| תוצאה שפורסמה | כתובת המקור, תווית המבחן, גרסת הטבלה או ערך הגיבוב שלה, מדד ויחידה |
| מקרים וניסיונות | גרסת מערך הנתונים והחלוקה שלו, מזהים מדויקים של מקרים וניסיונות, המכנה לחישוב הציון וכללי ההחרגה |
| תנאי הרצה | גרסאות הסוכן והמודל, כלים, מנגנון ציונים והגדרותיו, תקציב, מזהה הסביבה וערך הגיבוב של הדימוי כשיש כזה |
| ראיות | פלטים או תוצאות לכל מקרה, מיקומי קבצים שאינם משתנים וערכי גיבוב מאומתים |
הסיקו מסקנות על ביצועים רק בהיקף שהנתונים המתועדים תומכים בו. בציטוט של תוצאה היסטורית, ציינו את המקור המדויק. בהשוואת סוכנים, דווחו על התוצאות המזווגות לכל מקרה ועל הכיסוי בתנאים שתוארו.