# מפקד הגדרות המשאבים של Terminal-Bench

נוצר: 2026-11-17
עודכן: 2026-11-17

## שאלת המחקר ואוכלוסיית המחקר

אילו הגדרות ייעודיות למשימות תצורת ארגז חול אחידה תשנה ב־Terminal-Bench v4.1.0? מחקר זה משווה הגדרות שפורסמו כדי שצוותי הערכה יוכלו לבחור ולתעד תצורת סביבה. הוא אינו אומד שימוש בפועל במשאבים, חומרה מזערית, מחיר, זמן השלמה, ביצועי מודל או הסתברות לכישלון.

אוכלוסיית המחקר כוללת את כל 66 המשימות במניפסט המהדורה הרשמי של v4.1.0, ולא כל קובץ דמוי משימה במאגר. המהדורה פורסמה ב־3 בנובמבר 2026. מטא־הנתונים של התצורה נקראו ב־17 בנובמבר 2026. [כרטיס מערך הנתונים הרשמי](https://huggingface.co/datasets/harborframework/terminal-bench) מזהה את המהדורה ואת [המניפסט שלה](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json). מאגר המקור מוצמד ל־commit `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` ב־`harbor-framework/terminal-bench`.

ערך ה־SHA-256 של המניפסט הוא `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262`. כל תצפית כוללת כתובת URL מוצמדת למקור ואת ערך ה־SHA-256 של קובץ המקור המלא `task.toml`. משימות מדור קודם, קובצי עזר של CI ותבניות שמחוץ למניפסט המהדורה אינם נכללים. לא הורצו משימות, קונטיינרים, מודלים או סקריפטים לאימות.

## חילוץ

יחידת המחקר היא משימה אחת מהמניפסט. כלי האיסוף מנתח קובצי TOML באמצעות הספרייה הסטנדרטית של Python ומתעד ערכים שהוגדרו במפורש ברמה העליונה של סביבת המשימה עבור CPU, זיכרון, אחסון, GPU, סוג GPU, TPU ומגבלת זמן לבנייה. הוא משמר שדות שהושמטו כשדות מושמטים. ערכי מגבלות הזמן של הסוכן ושל המאמת נשמרים בנפרד. הערכים המספריים `1200` ו־`1200.0` שקולים בספירות המסכמות; תצפיות המקור משמרות את הטיפוסים שנותחו.

קיומו של בלוק סביבת מאמת מתועד בנפרד מקיומם של שדות משאבים. כלי האיסוף שומר בנפרד גם את schema_version, את גרסת הרמה העליונה מדור קודם ואת גרסת המשימה; הוא מסמן שמות חלופיים ישנים למשאבים, שלבים ובלוקי סביבה נוספים. במהדורה זו לא נמצאו שמות חלופיים ישנים למשאבים או שלבים. ל־6 משימות יש בלוקים מפורשים של סביבת מאמת. התצפיות המלאות משמרות שדות נבחרים מבלוקים אלה; התפלגויות ה־CPU וה־RAM העיקריות מתייחסות לסביבה ברמה העליונה של המשימה בלבד.

גודלם הכולל של 66 קובצי ה־TOML המקוריים הוא 85,966 בתים. החילוץ שפורסם מכיל עובדות תצורה נבחרות, שמות שדות, מזהי משימות וערכי גיבוב של המקורות. הוא אינו כולל הוראות למשימות, פתרונות, בדיקות, פרטי קשר של מחברים או ערכים של משתני סביבה. קובצי המקור המלאים ודימויי סביבת הבדיקה אינם מופצים מחדש בחבילה זו.

## ההשוואה שנבנתה

עבור כל אחד ממספר מעבדי ה־CPU, הזיכרון, האחסון ומספר מעבדי ה־GPU, בחרנו בערך המפורש השכיח ביותר ב־66 הגדרות הסביבה ברמה העליונה: 2 מעבדי CPU, 4,096 MB זיכרון, 10,240 MB אחסון ו־0 מעבדי GPU. שילוב הערכים יוצר את תצורת ההשוואה שלנו. זו אינה ברירת מחדל של Harbor, המלצת ספק או תצורת הערכה שנצפתה.

משימה נכללת בקבוצת המשימות שמעל תצורת ההשוואה אם לפחות ערך מספרי אחד שהוגדר בה במפורש גדול מהערך המתאים בתצורה. אנו סופרים את איחוד מזהי המשימות, ולא את סכום הספירות לכל שדה. ערכי GPU חסרים אינם נספרים כאפס ואינם יוצרים חריגה כלפי מעלה. אפשר לזהות בנתוני המקור את 8 המשימות שבהן מספר מעבדי ה־GPU הושמט. איחוד 38 המשימות מודד הבדל בהגדרות; הוא אינו מנבא אם המשימה יכולה לרוץ או לעבור בתצורה כלשהי.

ספרנו גם דפוסי הגדרות מובחנים על פני מספר מעבדי CPU, זיכרון, אחסון, מספר מעבדי GPU, סוג GPU ו־TPU, ללא מגבלות זמן. מספר הדפוסים הגולמי הוא 27. הגדרת מספר מעבדי GPU שהושמט כאפס מפחיתה את המספר ל־22. בשל רגישות זו, המאמר מציג תחילה שדות משאבים נפרדים והשוואה שקופה, ואינו מציג את מספר הדפוסים כמספר דרישות חומרה.

## פרשנות תוכנת ההרצה

בדקנו את קוד המקור של Harbor ב־commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4`, שמטא־הנתונים של הפרויקט מזהים אותו כגרסה 0.26.0. אלה ממצאים מקריאת קוד, ולא אימות שבוצע בהרצה של כל המשימות או כל מערכות העיבוד.

- [מנתח המשימות](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) מאפשר לערכי מספר מעבדי CPU, זיכרון, אחסון ו־GPU להיות חסרים, וממיר מחרוזות זיכרון ואחסון מדור קודם. שדה גרסת הסכמה שלו הוא מחרוזת; מסלול המרת הגרסאות כשלעצמו אינו מוכיח שכל משימה ניתנת להרצה.
- [סביבת הבסיס](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) מחילה ערכי דריסה של הרצת הניסיון. מספר מעבדי GPU שהושמט מקבל שם את הערך אפס; מדיניות להתעלמות מ־CPU או מזיכרון יכולה למנוע את החלת הערכים. אנו משמרים את ההשמטות במערך הנתונים גם כאשר תוכנת הרצה זו ממפה השמטה לערך.
- [רכיב קביעת סביבת המאמת](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) משתמש בסביבת מאמת שסופקה כמכלול; אחרת הוא מעתיק את סביבת המשימה. הוא אינו ממזג בלוק מאמת מפורש עם הגדרות הסוכן שדה אחר שדה. בעת [יצירת הרצת ניסיון](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) עדיין מועברים ערכי דריסה לסביבה.
- [מתאם Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) ממפה מדיניות CPU וזיכרון אוטומטית למגבלות ומתעלם במפורש מבחירת סוג GPU. [רכיב כתיבת המשאבים של Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) כותב מגבלות למספר מעבדי CPU, לזיכרון ולמספר מעבדי GPU, אך לא מגבלת אחסון. תצורת Compose קיימת וספקים אחרים עשויים להתנהג אחרת.
- [קביעת מגבלות הזמן](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) ו[חישוב התקציבים](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) מאפשרים ערכי דריסה, ערכי מקסימום ומכפילים. הגדרות מגבלות הזמן של הסוכן, המאמת והבנייה אינן משכי זמן שנצפו. לא נטען שסכומן הוא גבול למשך הכולל של הרצת הניסיון.

המפקד אינו בודק כל Dockerfile, קונטיינר נלווה של Compose, תמונה או שירות חיצוני. אלה עשויים להוסיף דרישות משאבים ומגבלות מעבר לשדות התצורה ברמה העליונה. ממחקר זה לא נובעת מסקנה על תוקף מבחן הביצועים או על שינויים בציונים.

## שחזור

באמצעות Python 3.11 ואילך, הריצו את `python3 census.py` כדי להפיק מחדש את `census-results.json` מתוך `census.json` שסופק. הריצו את `python3 census.py --collect` כדי לאחזר מחדש את המניפסט הקבוע ואת כל 66 קובצי ה־TOML המוצמדים לפני הניתוח. כלי האיסוף מבצע לכל היותר 3 קריאות בו־זמנית, מגביל את גודל המניפסט ל־300 KB ואת גודל כל משימה ל־100 KB, ונכשל אם המשימות הנכללות במניפסט או ערך הגיבוב המוצמד שלו שונים. הוא אינו משנה דבר אצל הספק ואינו מריץ קוד שהורד.

הריצו את `python3 render-assets.py` כדי להפיק מחדש את שני איורי ה־SVG המקוריים. יצירת האיורים משתמשת ב־ReportLab; קובצי המקור שפורסמו רונדרו באמצעות ReportLab 4.4.9 ו־Python 3.12.14. איור ההתפלגות קורא ישירות את תוצאות הניתוח. האיור השני הוא תרשים שיצרו המחברים של רשומת התצורה, ולא נתונים אמפיריים. שני קובצי ה־SVG משמרים טקסט, כותרות נגישות ותיאורים.

מבחן הביצועים המקורי משתמש ב־[Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE). זכויות היוצרים במקור נשארות בידי מחבריו. חבילה זו כוללת חילוץ עובדתי נבחר וניתוח מקורי של Sapien1; היא אינה מעניקה זכויות בנכסי משימות של צדדים שלישיים או בתוכן של קונטיינרים.
