# הגדרות המשאבים של 66 משימות ב־Terminal-Bench

ב־66 המשימות של Terminal-Bench v4.1.0 נקבעו הגדרות משאבים שונות. בסקירת קובצי התצורה נמצא כי 31 משימות מציינות יותר מ־4,096 MB זיכרון, ו־22 מציינות יותר משני מעבדים. לתצורת ההשוואה בחרנו את הערך המפורש הנפוץ ביותר לכל אחד מתחומי המעבדים, הזיכרון, האחסון והמעבדים הגרפיים. ב־38 משימות לפחות ערך אחד גבוה מהערך המתאים בתצורה. ההבדלים עוזרים להבין אילו הגדרות כדאי לשמור או לתעד בעת הכנת סביבות הערכה מבודדות. הם אינם מנבאים צריכת משאבים או כשל במשימה.

אילו תנאים נשמרים בהרצת אותו מבחן ביצועים בסביבה חדשה? התשובה תלויה בגרסאות המשימה ותוכנת ההרצה, באפשרויות שגוברות על ערכי המשימה ובכללים של תשתית ההרצה.

## המהדורה כוללת משימות בכמה רמות משאבים

בדקנו את כל המשימות במניפסט הרשמי של Terminal-Bench v4.1.0, שפורסם ב־3 בנובמבר 2026. הסקירה מקיפה את כל 66 המשימות במהדורה. לכל משימה יש קובץ `task.toml` בגרסה מקובעת של קוד המקור. המאגר מכיל גם משימות ישנות וקובצי עזר לבדיקה שאינם נכללים בסקירה. [המהדורה והמניפסט הרשמיים](https://huggingface.co/datasets/harborframework/terminal-bench)

בסביבה הראשית של המשימות הוצהרו בין 2 ל־16 מעבדים ובין 4,096 ל־32,768 MB זיכרון. המספר השכיח ביותר הוא שני מעבדים, ב־44 משימות. ערך הזיכרון השכיח ביותר הוא 4,096 MB, ב־35 משימות. יתר המשימות מציינות ערכים גבוהים יותר.

![מספר ההופעות של ערכי מעבדים וזיכרון מפורשים ב־66 המשימות. שני מעבדים מופיעים ב־44 משימות, 4 ב־14, 8 ב־6 ו־16 בשתיים. נפח זיכרון של 4,096 MB מופיע ב־35 משימות, 8,192 MB ב־22, 16,384 MB ב־8 ו־32,768 MB באחת.](https://sapien1.com/research/terminal-bench-resource-settings/figures/he/resource-distribution.svg)

שני חלקי האיור מתייחסים לאותן 66 סביבות משימה. הערכים לקוחים מקובצי התצורה של המהדורה. [הנתונים המלאים](https://sapien1.com/research/terminal-bench-resource-settings/census.json) כוללים כתובת לגרסת מקור מקובעת ואת הגיבוב של קובץ המקור של כל משימה.

ההבדלים האלה חשובים כשצוות מאחד את התשתית שלו. סביבה אחידה יכולה לפשט את תזמון המשימות, אבל היא משנה חלק מהתנאים המוצהרים אם תוכנת ההרצה אינה מחילה בה את ההגדרות הייחודיות לכל משימה. חומרה זמינה נוספת גם אינה שומרת מעצמה על סף נמוך יותר שנקבע בהגדרות. ההשוואה תלויה במגבלות שתוכנת ההרצה והתשתית מחילות בפועל.

## שילוב ערכים נפוצים משנה רבות מההצהרות

בתצורת ההשוואה שילבנו את הערך המפורש השכיח ביותר בכל אחד מארבעת השדות.

| שדה | ערך בתצורת ההשוואה |
| --- | ---: |
| מספר מעבדים | 2 |
| זיכרון | 4,096 MB |
| אחסון | 10,240 MB |
| מספר מעבדים גרפיים | 0 |

יצרנו את הצירוף לצורך הניתוח. הוא אינו הגדרת ברירת מחדל של Harbor, המלצת ספק או פריסה שנצפתה. כל אחד מהערכים נפוץ בפני עצמו. התדירות של הצירוף המלא עשויה להיות אחרת.

בכל משימה בדקנו אם לפחות ערך מפורש אחד גבוה מערך ההשוואה המקביל. זה קרה ב־**38 מתוך 66 משימות**. בחלוקה לפי שדה, 22 משימות חרגו בערך המעבדים, 31 בזיכרון, 17 באחסון ושלוש במספר המעבדים הגרפיים. הקבוצות חופפות, ולכן חיבור הספירות יכלול חלק מהמשימות יותר מפעם אחת. [תוצאות ההשוואה](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) כוללות את מזהי המשימות המדויקים בכל הקבוצות יחד ובכל שדה בנפרד.

ב־28 המשימות הנותרות, אף ערך מתועד אינו עולה על ארבעת ערכי ההשוואה. מכך לא נובע שהתצורה תואמת למשימות האלה. שמונה משימות משמיטות את מספר המעבדים הגרפיים. בסקירה השארנו את הערך חסר, בלי לרשום אפס. קבצים, מכלי עזר, דימויים ושירותים יכולים להוסיף דרישות שאינן מתוארות בארבעת השדות.

להרצות ללא מעבד גרפי, המתחזקים מספקים ב־Terminal-Bench 4.1.0 [מערך נתונים נפרד עם 63 משימות למעבד בלבד](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only). הריצו אותו באמצעות `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0` ודווחו על תוצאותיו בנפרד מציוני המהדורה המלאה של 66 משימות. עצם ההכללה במערך אינה קובעת אם המשימה עומדת במגבלה מסוימת של מעבדים, זיכרון או אחסון.

לפני ההרצה, השתמשו ברשימת החריגים כדי לבדוק אילו הגדרות ישתנו בסביבה אחידה.

## תוכנת ההרצה והתשתית מפרשות את ההצהרה

קובץ המשימה מתאר חלק מתצורת ההערכה. כדי להבין כיצד נעשה שימוש בערכים, בדקנו גרסה מקובעת של Harbor שבה [נתוני החבילה מציינים גרסה 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

בקוד שנבדק, אפשרויות של ניסיון מסוים יכולות לגבור על ערכי המשאבים של המשימה. כללי המעבדים והזיכרון יכולים גם לקבוע אם ערך ייושם או שיתעלמו ממנו. המנתח משאיר ללא ערך את שדות המעבדים, הזיכרון והאחסון שהושמטו. סביבת הבסיס מפרשת מספר חסר של מעבדים גרפיים כאפס אפקטיבי. הסקירה משמרת את ההשמטה המקורית כדי להבדיל בין מה שנכתב במשימה לבין הפירוש של תוכנת ההרצה. [הטיפול בסביבות בגרסת Harbor שנבדקה](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

התשתית משפיעה גם היא על התוצאה. המתאם של Docker שנבדק מתרגם את כללי המעבדים והזיכרון האוטומטיים שלו למגבלות. הוא [מתעלם במפורש מהבחירה בסוג המעבד הגרפי](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272), והקוד שכותב את משאבי Compose לא מגדיר מגבלת אחסון. שלוש משימות מציינות במפורש H100. השדה הזה לבדו אינו מוכיח ש־Docker יקצה H100. באותו אופן, ערך של `storage_mb` אינו מספיק לקבוע שיש מגבלת דיסק ב־Docker. תצורת Compose קיימת יכולה להוסיף מגבלות, ותשתיות אחרות יכולות לטפל בערכים אחרת. [המתאם של Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [הקוד שכותב את משאבי Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

כדי לאפשר שחזור של ההערכה, שמרו את ההצהרה ותעדו כיצד התשתית שבחרתם יישמה אותה. ההגדרה שהתבקשה והמשאבים שהוקצו בפועל עונים על שאלות שונות.

![ארבע שכבות לתיעוד הערכה. הצהרת המשימה בגרסה מקובעת, גרסת תוכנת ההרצה והאפשרויות שגוברות על ערכים, כללי המשאבים בתשתית וההקצאה שנצפתה אם אפשר לקבוע אותה.](https://sapien1.com/research/terminal-bench-resource-settings/figures/he/evaluation-record.svg)

תעדו את ההגדרות שהתבקשו ואת ההקצאות שנצפו בשדות נפרדים.

## תעדו בנפרד את מגבלות הזמן של הסוכן ואת הגדרות האימות

כל 66 קובצי המשימה קובעים במפורש מגבלת זמן לסוכן של 28,800 שניות, כלומר שמונה שעות. זו תקרה שנקבעה בהגדרות. מגבלות הזמן המוצהרות לאימות נעות בין 60 ל־18,000 שניות, והמגבלות להקמת סביבת ההרצה נעות בין 300 ל־18,000 שניות. כשאומדים את משך המשימה, יש להתייחס לכל שלב בנפרד.

תוכנת ההרצה שנבדקה יכולה לגבור על מגבלות הזמן ולהחיל ערכים מרביים ומכפילים. בפונקציה שנבדקה הערך המרבי מוחל לפני המכפיל. בניתוח לא חיברנו את מגבלות השלבים כדי לחזות את משך ההרצה הכולל. [קביעת מגבלות הזמן בגרסה שנבדקה](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [חישוב תקציב הזמן לכל שלב](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

לפי כללי מגבלות הזמן בגרסת Harbor שבדקנו, חישבנו את מגבלות הזמן לאימות בכל 66 המשימות של Terminal-Bench v4.1.0. בדקנו בנפרד ערך מרבי של 600 שניות והחלפה של מגבלת הזמן בערך של 600 שניות, עם מכפיל של 1 בשני המקרים. בשני המקרים מגבלת הזמן המחושבת הגבוהה ביותר הייתה 600 שניות. הערך המרבי שמר על 28 מגבלות הזמן הקצרות יותר. ההחלפה העלתה את כל 28 המגבלות האלה ל־600 שניות. כדי לשמור על מגבלות הזמן הקצרות יותר בתצורה הזאת, השתמשו בערך המרבי ותעדו את ההגדרה שבה השתמשתם. [איך Harbor בוחר את מגבלת הזמן ההתחלתית](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [איך Harbor מחיל את הערך המרבי ואת המכפיל](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

מגבלת הזמן של המשימה שמריצה את הסוכן יכולה לעצור סוכן שרץ מקומית עוד לפני שהוא מגיע למגבלת הזמן שלו. לדוגמה, אם לסוכן הוקצו שמונה שעות לביצוע מטלה, הוא לא יכול לנצל את כל הזמן הזה בתוך [משימה שמתארחת ב־GitHub](https://docs.github.com/en/actions/reference/limits) ומוגבלת לשש שעות. גם ההכנות שנעשות באותה משימה גוזלות חלק מהזמן הזמין. תעדו בנפרד את מגבלת הזמן של המשימה שמריצה את הסוכן ואת מגבלת הזמן של הסוכן.

כל המשימות בוחרות במפורש באימות נפרד. שש מהן כוללות קטע הגדרות לסביבת המאמת. הפונקציה שנבדקה ב־Harbor בוחרת את קטע ההגדרות המפורש במלואו, בלי למזג שדות עם סביבת המשימה. בהיעדר קטע נפרד היא מעתיקה את סביבת המשימה. אפשרויות לניסיון מסוים עדיין יכולות לשנות את התצורה של המאמת בפועל. [בחירת סביבת המאמת](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

תעדו את הגדרות הסוכן והמאמת בנפרד, גם אם הן זהות. הבחירה באימות נפרד אינה קובעת כשלעצמה את ההקצאה בפועל או אם שתי הסביבות צורכות משאבים בו־זמנית.

השווינו בין Terminal-Bench 4.0 ל־4.1 את ההצהרות על מעבדים, זיכרון, אחסון, מעבדים גרפיים, מגבלות זמן ומצב אימות ב־66 משימות ששמותיהן ונתיביהן תואמים. ב[השוואה](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) נמצאו שתי משימות שבהן השתנו השדות האלה. ב־`distributed-dedup` מגבלת הזמן של המאמת עלתה מ־1,800 ל־3,900 שניות. ב־`payments-pipeline-fix` ערכי המאמת המפורשים עלו מ־6 מעבדים ו־12,288 MB ל־8 מעבדים ו־16,384 MB. אלה ערכים מוצהרים. לפי [הערות המהדורה 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0), כל 66 המשימות השתנו. ההשוואה המצומצמת אינה קובעת אם ההוראות, תמונות הקונטיינר והמאמתים שקולים.

הורידו את [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) ואת [census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) לאותה תיקייה. עם Python 3.11 ומעלה וחיבור לאינטרנט, הריצו ממנה את `python3 compare-versions.py > comparison.json`. הסקריפט מביא את המרשם של מהדורה 4.0 מגרסה מקובעת ואת המטא־דאטה של המשימות, בלי להריץ את המשימות עצמן. הדוח המקומי שומר את ייחוס המקור ואת בקשת הפרויקט להשאיר את נתוני המבחן מחוץ לקורפוסי אימון.

## מה לשמור כשמשנים את תצורת ההערכה

הסקירה מספקת בסיס לרישום תצורה קצר.

1. **קבעו את אוסף המשימות.** שמרו יחד את מניפסט המהדורה, גרסת המקור ונתיבי המשימות. ספירת קבצים במאגר כולו עלולה לכלול חומר שאינו חלק מהמהדורה.
2. **שמרו את ההצהרות המקוריות.** תעדו ערכים מפורשים והשמטות, כולל הגדרות מאמת נפרדות ומגבלות זמן לכל שלב.
3. **תעדו את תוכנת ההרצה והאפשרויות שלה.** שמרו את הגרסה או מזהה הגרסה המדויק ואת האפשרויות שמחליפות את ערכי המשימה או משנות אותם ביחס מספרי.
4. **בדקו את כללי התשתית.** זהו אילו שדות מגדירים מגבלות, הקצאות שמורות או ברירות מחדל, ואילו בקשות אינן נתמכות.
5. **תעדו את ההקצאה בפועל כשאפשר לצפות בה.** שמרו אותה בנפרד מהתצורה שהתבקשה ומהצריכה שנמדדה בזמן ההרצה.

אם שיניתם מגבלה או הקצאה במכוון, תעדו את השינוי לצד התוצאה. כך הקוראים יוכלו להבין את תנאי ההערכה ולהביא בחשבון הבדלים בין סביבות.

[השוואת התצורות](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) ו[קוד הניתוח](https://sapien1.com/research/terminal-bench-resource-settings/census.py) מאפשרים לבדוק את החריגים. sapien1 בוחנת כך משימות וסביבות בהגדרת היקף של פרויקט [הערכת סוכנים](https://sapien1.com/he/agent-evaluation).

כדי להשוות מגבלות נוספות, הורידו את [מסנן המשאבים](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) ואת [נתוני הסקירה](https://sapien1.com/research/terminal-bench-resource-settings/census.json) לאותה תיקייה. לדוגמה, `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` מציגה משימות שהערכים המוצהרים שלהן עומדים במגבלות האלה גם בסביבת המשימה וגם בסביבת המאמת. הפלט שומר שדות שלא צוינו ואינו קובע לבדו אם משימה תוכל לרוץ. Terminal-Bench מבקשת שלא לכלול את נתוני המבחן בקורפוסי אימון.

### השוואה בין המשימות שנבחרות בכל תקרת משאבים

כל אחת משתי תקרות המשאבים בדוגמה בוחרת 44 מתוך 66 המשימות ב־Terminal-Bench v4.1.0. בשתי הרשימות מופיעות 36 משימות משותפות, ובכל רשימה יש עוד שמונה משימות ייחודיות לה. המסנן בודק את ההגדרות המוצהרות של המעבדים, הזיכרון והאחסון מול כל תקרה בנפרד, הן בסביבת המשימה והן בסביבת האימות.

| יחידות עיבוד מרכזיות | זיכרון (MB) | אחסון (MB) | משימות שעומדות בשלוש המגבלות |
| ---: | ---: | ---: | ---: |
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |

הריצו את שתי הפקודות מהתיקייה שבה נמצאים המסנן וקובץ המיפוי. בכל דוח, השדות `task` בתוך `records` מציגים את מזהי המשימות שנבחרו.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

כשמדווחים על ציון, שמרו את מזהי המשימות המדויקים לצד גרסת המבחן והגדרות המשאבים. אם משווים בין שתי הרצות לפי המשימות המשותפות להן, חשבו את שני הציונים על סמך אותה רשימה.

## שיטה והיקף

ב־17 בנובמבר 2026 השלמנו סקירה של כל הצהרות התצורה במהדורה אחת. הסקירה מתארת הצהרות ואינה מודדת ביצועים. גרסת המקור של מערך הנתונים Terminal-Bench היא `4070d6c`. גרסת Harbor שנבדקה היא `ec6aeab`, שמופיעה במטא־דאטה של הפרויקט כגרסה 0.26.0. [השיטה](https://sapien1.com/he/research/terminal-bench-resource-settings/methods.md) כוללת את הגיבובים המלאים, קישורים למקורות, כללי חילוץ ופקודות לשחזור הסקירה.

סקריפט האיסוף קורא את המניפסט הרשמי ו־66 קובצי TOML, בגודל כולל של 85,966 בתים במקור. הוא שומר את שדות הגרסה בנפרד ובודק שמות חלופיים ישנים למשאבים, שלבים וקטעי סביבה נוספים. במהדורה הזאת הוא לא מצא שלבים או שמות חלופיים ישנים. הקבצים הציבוריים להורדה כוללים פרטי תצורה נבחרים וגיבובים של המקורות. לא נכללו בהם הוראות משימה, פתרונות או סביבות מלאות.

בדקנו באופן עצמאי את רשימת המשימות במניפסט, את החישובים ודוגמאות מהמקור, כולל ערך חריג, שדה מעבד גרפי שהושמט וקטע אימות שהוגדר במפורש. לא הרצנו מודלים, מכלים או משימות מהמבחן.

