# إعدادات الموارد في 66 مهمة من Terminal-Bench

يحدد Terminal-Bench v4.1.0 إعدادات موارد مختلفة عبر مهامه الـ66. وجدنا في حصر ملفات الإعداد أن 31 مهمة تحدد ذاكرة تزيد على 4,096 MB، وأن 22 مهمة تحدد أكثر من وحدتي معالجة مركزية. وجمعنا القيم الصريحة الأكثر شيوعًا للمعالجات والذاكرة والتخزين ووحدات معالجة الرسوميات في إعداد للمقارنة. يقل هذا الإعداد عن قيمة مصرح بها واحدة على الأقل في 38 مهمة. توضح الفروق الإعدادات التي ينبغي لفريق التقييم الاحتفاظ بها أو توثيقها عند تهيئة بيئات التشغيل المعزولة. ولا تكفي لتوقع استهلاك الموارد أو فشل المهام.

عند تشغيل الاختبار المعياري نفسه في بيئة جديدة، ما الشروط التي ستبقى كما هي؟ يتوقف ذلك على إصدار المهمة وإصدار برنامج التشغيل وخيارات تجاوز القيم وسياسات النظام الذي ينفذ التشغيل.

## يضم الإصدار مهام بقيم موارد متفاوتة

فحصنا جميع المهام في بيان الإصدار الرسمي لـ Terminal-Bench v4.1.0، المنشور في 3 نوفمبر 2026. شمل الحصر 66 مهمة، لكل منها ملف `task.toml` في مراجعة محددة من المصدر. يضم المستودع أيضًا مهام قديمة وملفات مساعدة للاختبار تقع خارج نطاق الحصر. [الإصدار الرسمي وبيان المهام](https://huggingface.co/datasets/harborframework/terminal-bench)

تتراوح القيم المصرح بها في بيئة المهمة الأساسية بين 2 و16 وحدة معالجة مركزية، وبين 4,096 و32,768 MB من الذاكرة. أكثر القيم شيوعًا للمعالجات هي وحدتان، وتظهر في 44 مهمة. وأكثر قيم الذاكرة شيوعًا هي 4,096 MB، وتظهر في 35 مهمة. وتتوزع بقية المهام على قيم أعلى.

![عدد القيم الصريحة للمعالجات والذاكرة عبر المهام الـ66. المعالجات: وحدتان في 44 مهمة، و4 في 14، و8 في 6، و16 في مهمتين. الذاكرة: 4,096 MB في 35 مهمة، و8,192 MB في 22، و16,384 MB في 8، و32,768 MB في مهمة واحدة.](https://sapien1.com/research/terminal-bench-resource-settings/figures/ar/resource-distribution.svg)

يغطي كل جزء من الشكل بيئات المهام الـ66 نفسها. والقيم مأخوذة من ملفات إعداد الإصدار. تتضمن [المشاهدات الكاملة](https://sapien1.com/research/terminal-bench-resource-settings/census.json) رابطًا ثابتًا وبصمة ملف المصدر لكل مهمة.

تظهر أهمية ذلك عندما يوحد الفريق بنيته التحتية. قد تسهّل البيئة الموحدة جدولة التشغيل، لكنها تغير بعض الشروط المصرح بها ما لم يطبق برنامج التشغيل القيم الخاصة بكل مهمة. وحتى إذا توفرت موارد أكبر، فهذا لا يضمن الإبقاء على سقف أقل مصرح به. تعتمد المقارنة على الحدود التي يطبقها برنامج التشغيل والنظام المسؤول عن التنفيذ.

## إعداد يجمع القيم الأكثر شيوعًا يغير عددًا كبيرًا من القيم المصرح بها

لتوضيح المقارنة، أخذنا القيمة الصريحة الأكثر تكرارًا في كل حقل من الحقول الأربعة وجمعناها في إعداد واحد.

| الحقل | القيمة في إعداد المقارنة |
| --- | ---: |
| وحدات المعالجة المركزية | 2 |
| الذاكرة | 4,096 MB |
| التخزين | 10,240 MB |
| وحدات معالجة الرسوميات | 0 |

صممنا هذا الإعداد للتحليل. والقيم لا تمثل الإعدادات الافتراضية في Harbor، أو توصية من المزود، أو نشرًا فعليًا رصدناه. كل قيمة شائعة في حقلها، وقد يختلف معدل تكرار التركيبة بأكملها.

تحققنا في كل مهمة مما إذا كانت أي قيمة صريحة تتجاوز نظيرتها في الإعداد المرجعي. وجدنا ذلك في **38 من أصل 66 مهمة**. وبحسب الحقل، تجاوزت 22 مهمة قيمة المعالجات، و31 قيمة الذاكرة، و17 قيمة التخزين، وثلاث مهام عدد وحدات معالجة الرسوميات. تتداخل هذه المجموعات، لذا فإن جمع أعدادها يحتسب بعض المهام أكثر من مرة. تحوي [نتائج المقارنة](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) المعرّفات الدقيقة للمهام في كل حقل وفي القائمة المجمعة.

لا تتجاوز القيم المسجلة للمهام الـ28 الباقية تلك القيم المرجعية الأربع. لكن ذلك لا يكفي لإثبات توافق المهام مع الإعداد المرجعي. أغفلت ثماني مهام عدد وحدات معالجة الرسوميات، وأبقينا الحقل غائبًا بدل تسجيل صفر مكانه. وقد تضيف الملفات والحاويات المساندة والصور والخدمات متطلبات تقع خارج الحقول الأربعة.

للتشغيل دون وحدة معالجة رسوميات، يتيح القائمون على المشروع [مجموعة مستقلة من 63 مهمة للمعالجات المركزية فقط](https://hub.harborframework.com/datasets/terminal-bench/terminal-bench-cpu-only) في Terminal-Bench 4.1.0. يمكن تشغيلها بالأمر `harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0`. سجل نتائجها منفصلة عن نتائج الإصدار الكامل المكوّن من 66 مهمة. وجود المهمة في هذه المجموعة لا يحدد ما إذا كانت تناسب سقفًا معينًا للمعالجات أو الذاكرة أو التخزين.

استخدم قائمة الاستثناءات لمراجعة الإعدادات التي ستتغير عند استخدام بيئة موحدة قبل بدء التشغيل.

## تمر القيم المصرح بها عبر برنامج التشغيل ونظام التنفيذ

ملف المهمة جزء من إعداد التقييم. لمعرفة كيفية تفسير تلك القيم، راجعنا نسخة مثبتة من مصدر Harbor تشير [بيانات حزمتها إلى الإصدار 0.26.0](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/pyproject.toml#L3).

في المصدر الذي راجعناه، يمكن لخيارات الموارد الخاصة بكل محاولة أن تحل محل قيم المهمة. وتحدد سياسات المعالجات والذاكرة أيضًا ما إذا كانت بعض القيم ستطبق أو ستتجاهل. يسمح محلل الإعدادات ببقاء قيم المعالجات والذاكرة والتخزين غير محددة عند غيابها. وتعامل البيئة الأساسية عدد وحدات معالجة الرسوميات الغائب على أنه صفر فعلي. أبقى الحصر الغياب الأصلي ظاهرًا للتمييز بين ما كتبه المؤلف وما استنتجه برنامج التشغيل. [منطق بيئات Harbor في النسخة المثبتة](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468)

يؤثر نظام التنفيذ بدوره في النتيجة. يحول محول Docker الذي راجعناه سياسات المعالجات والذاكرة التلقائية إلى حدود. وهو [يتجاهل صراحة اختيار نوع وحدة معالجة الرسوميات](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L272)، ولا يكتب مكوّن إعداد موارد Compose سقفًا للتخزين. تسمي ثلاث مهام في الإصدار وحدة H100 صراحة، لكن ذكرها في الحقل لا يثبت أن Docker سيخصصها. وبالمثل، لا تكفي قيمة `storage_mb` وحدها لإثبات حد للقرص في Docker. وقد تضيف إعدادات Compose القائمة قيودًا، وقد تتصرف أنظمة التنفيذ الأخرى بصورة مختلفة. [محول Docker](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) · [مكوّن إعداد موارد Compose](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36)

لإتاحة إعادة التقييم، احتفظ بالتصريح وسجل ما فعله به نظام التنفيذ المختار. سجل الإعدادات المطلوبة وسجل التخصيص الفعلي يجيبان عن سؤالين مختلفين.

![أربع طبقات لتوثيق التقييم: التصريح المثبت للمهمة، وإصدار برنامج التشغيل وخيارات تجاوز القيم، وسياسة الموارد في نظام التنفيذ، والتخصيص المرصود عندما يتاح رصده.](https://sapien1.com/research/terminal-bench-resource-settings/figures/ar/evaluation-record.svg)

احتفظ بالإعدادات المطلوبة والتخصيص الفعلي في حقول مستقلة.

## وثّق مهلة الوكيل وإعدادات التحقق كلًا على حدة

تحدد ملفات المهام الـ66 مهلة الوكيل صراحة عند 28,800 ثانية، أي ثماني ساعات. هذا سقف في الإعداد، وليس مدة تشغيل مرصودة. وتتراوح مهل التحقق المصرح بها بين 60 و18,000 ثانية، ومهل البناء بين 300 و18,000 ثانية. سجل هذه المراحل منفصلة عند تقدير مدة المهمة.

يمكن لبرنامج التشغيل الذي راجعناه تجاوز المهل الأصلية وتطبيق قيم قصوى ومعاملات ضرب. وترتيب التطبيق مهم، إذ تطبق الدالة المفحوصة القيمة القصوى قبل معامل الضرب. ولا يجمع تحليلنا حدود المهل في المراحل المختلفة لتوقع الزمن الإجمالي الفعلي. [تحديد المهلة في المراجعة المثبتة](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) · [حساب ميزانية الوقت حسب المرحلة](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724)

استخدمنا قواعد المهل في إصدار Harbor الذي راجعناه لحساب مهل التحقق لكل مهام Terminal-Bench v4.1.0 البالغ عددها 66. جرّبنا قيمة قصوى قدرها 600 ثانية وقيمة بديلة تتجاوز المهلة الأصلية قدرها 600 ثانية، كلًا على حدة، مع معامل ضرب قدره 1. في الحالتين كانت أكبر مهلة محسوبة 600 ثانية. أبقت القيمة القصوى على المهل الـ28 التي كانت أقصر. أما القيمة البديلة فرفعت هذه المهل الـ28 كلها إلى 600 ثانية. للحفاظ على المهل الأقصر في هذا الإعداد، استخدم القيمة القصوى وسجّل الإعداد الذي استخدمته. [كيف يختار Harbor المهلة الأولية](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1737-L1745) · [كيف يطبّق Harbor القيمة القصوى ومعامل الضرب](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695-L705)

قد تؤدي مهلة تنفيذ المهمة المضيفة إلى إيقاف وكيل يعمل محليًا قبل انتهاء مهلته الخاصة. مثلًا، إذا أُتيح للوكيل ثماني ساعات في مهمة ما، فلن يتمكن من استخدامها كاملةً داخل [مهمة تستضيفها GitHub](https://docs.github.com/en/actions/reference/limits) مدتها ست ساعات. ويُحتسب وقت الإعداد في المهمة المضيفة نفسها من الوقت المتاح أيضًا. سجّل مهلة المهمة المضيفة ومهلة الوكيل كلًا على حدة.

تختار كل مهمة التحقق المنفصل صراحة. وتحدد ست مهام كتلة إعداد لبيئة التحقق. يختار Harbor في المصدر المفحوص كتلة التحقق المحددة كما هي، من دون دمج حقولها مع بيئة المهمة. وعندما لا توجد كتلة منفصلة، ينسخ إعدادات بيئة المهمة. وقد تغير خيارات المحاولة ما يستخدمه المحقق فعليًا. [تحديد إعداد بيئة التحقق](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15)

سجل إعدادات الوكيل والتحقق كلًا على حدة حتى إن تساوت. ولا تبين عبارة «تحقق منفصل» وحدها تخصيص الموارد الفعلي أو ما إذا كانت البيئتان تستهلكان الموارد بالتزامن.

بين Terminal-Bench 4.0 و4.1، قارنا قيم المعالجات والذاكرة والتخزين ووحدات معالجة الرسوميات والمهل وطريقة التحقق في 66 مهمة لها الأسماء والمسارات نفسها. ووجدت [المقارنة](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) مهمتين تغيرت قيمهما في هذه الحقول. ارتفعت مهلة التحقق في `distributed-dedup` من 1,800 إلى 3,900 ثانية. وارتفعت قيم التحقق الصريحة في `payments-pipeline-fix` من 6 وحدات معالجة مركزية و12,288 MB إلى 8 وحدات و16,384 MB. هذه قيم مصرح بها وليست قياسات للتخصيص. وتشير [ملاحظات إصدار 4.1](https://github.com/harbor-framework/terminal-bench/releases/tag/v4.1.0) إلى تعديل المهام الـ66 جميعًا. ولا يحدد هذا الفحص المحدود ما إذا كانت تعليماتها وصورها وبرامج التحقق منها متكافئة.

نزّل [compare-versions.py](https://sapien1.com/research/terminal-bench-resource-settings/compare-versions.py) و[census.json](https://sapien1.com/research/terminal-bench-resource-settings/census.json) إلى المجلد نفسه. باستخدام Python 3.11 أو أحدث ومع توفر اتصال بالإنترنت، شغّل `python3 compare-versions.py > comparison.json` من ذلك المجلد. يجلب البرنامج السجل المثبت للإصدار 4.0 وبيانات المهام الوصفية دون تنفيذ المهام. ويحفظ التقرير المحلي نسبة المعلومات إلى مصدرها وطلب المصدر إبقاء بيانات الاختبار المعياري خارج مجموعات بيانات التدريب.

## ما الذي ينبغي الاحتفاظ به عند تغيير إعداد التقييم؟

يمكن استخدام الحصر لإعداد سجل موجز.

1. **ثبّت مجموعة المهام.** احتفظ ببيان الإصدار ومراجعة المصدر ومسارات المهام معًا. فقد يشمل عدد ملفات المستودع مواد خارج الإصدار المعياري.
2. **احتفظ بالتصريحات الأصلية.** سجل القيم الصريحة والحقول الغائبة، بما يشمل إعدادات التحقق المستقلة والمهل لكل مرحلة.
3. **وثّق برنامج التشغيل وخياراته.** سجل الإصدار أو المراجعة بدقة، وخيارات استبدال إعدادات المهام أو تطبيق معامل عليها.
4. **تحقق من سياسة نظام التنفيذ.** حدد الحقول التي تتحول في هذا النظام إلى حدود أو حجوزات أو قيم افتراضية، والطلبات التي لا يدعمها.
5. **سجل التخصيص الفعلي متى أمكن رصده.** افصله عن الإعدادات المطلوبة وما قيس من استهلاك أثناء التشغيل.

إذا غيرت حدًا أو تخصيصًا عن قصد، فسجّل التغيير إلى جانب النتيجة. يساعد ذلك من يراجع التقييم على فهم ظروفه ومقارنة البيئات مع مراعاة الفروق بينها.

تتيح [مقارنة الإعدادات](https://sapien1.com/research/terminal-bench-resource-settings/census-results.json) و[شيفرة التحليل](https://sapien1.com/research/terminal-bench-resource-settings/census.py) مراجعة الاستثناءات. وتستخدم sapien1 هذا النوع من مراجعة المهام والبيئات عند تحديد نطاق مشروع [لتقييم الوكلاء](https://sapien1.com/ar/agent-evaluation).

لمقارنة سقوف أخرى، نزّل [أداة تصفية الموارد](https://sapien1.com/research/terminal-bench-resource-settings/filter-census.py) و[الحصر](https://sapien1.com/research/terminal-bench-resource-settings/census.json) إلى المجلد نفسه. مثلًا، يعرض الأمر `python3 filter-census.py --cpus 4 --memory-mb 8192 --status within` المهام التي تقع قيمها المصرح بها ضمن تلك الحدود في بيئتي المهمة والتحقق. ويحتفظ التقرير بالحقول الغائبة، ولا يحدد وحده ما إذا كانت المهمة ستعمل. ويطلب مشروع Terminal-Bench استبعاد بيانات الاختبار المعياري من مجموعات بيانات التدريب.

### مقارنة المهام التي يختارها كل سقف للموارد

يختار كل من السقفين في هذا المثال 44 من أصل 66 مهمة في Terminal-Bench v4.1.0. تشترك القائمتان في 36 مهمة، وتنفرد كل قائمة بثماني مهام. تقارن أداة التصفية القيم المصرح بها للمعالجات والذاكرة والتخزين بكل سقف على حدة في بيئة المهمة وبيئة التحقق.

| وحدات المعالجة المركزية | الذاكرة (MB) | التخزين (MB) | المهام التي تقع ضمن الحدود الثلاثة |
| ---: | ---: | ---: | ---: |
| 4 | 8,192 | 10,240 | 44 |
| 2 | 16,384 | 20,480 | 44 |

شغّل الأمرين من المجلد الذي يحتوي على أداة التصفية وملف الحصر. تعرض حقول `task` داخل `records` في كل تقرير معرّفات المهام المختارة.

```bash
python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json
```

عند الإبلاغ عن نتيجة، احفظ معرّفات المهام بدقة مع إصدار الاختبار المعياري وإعدادات الموارد. وإذا قارنت بين تشغيلين باستخدام المهام المشتركة، فاحسب النتيجتين على القائمة نفسها.

## المنهج والنطاق

أكملنا حصر تصريحات الإعداد لإصدار واحد في 17 نوفمبر 2026. يغطي الحصر القيم المصرح بها، ولا يقيس الأداء. مصدر بيانات Terminal-Bench هو المراجعة `4070d6c`. ومصدر Harbor المفحوص هو المراجعة `ec6aeab`، التي تشير بياناتها الوصفية إلى الإصدار 0.26.0. وتضم [المنهجية](https://sapien1.com/ar/research/terminal-bench-resource-settings/methods.md) البصمات الكاملة وروابط المصدر وقواعد الاستخراج وأوامر إعادة التحليل.

تقرأ أداة الجمع بيان المهام الرسمي و66 ملف TOML يبلغ مجموع أحجامها 85,966 بايت في المصدر. تحتفظ الأداة بحقول الإصدارات منفصلة وتبحث عن أسماء بديلة قديمة للموارد وخطوات وكتل بيئة إضافية. لم تجد خطوات أو أسماء موارد بديلة قديمة في هذا الإصدار. تضم التنزيلات العامة قيم إعداد مختارة وبصمات المصادر. وتبقى تعليمات المهام والحلول والبيئات الكاملة خارجها.

تحققنا من بيان المهام والحسابات وعينات من المصدر بصورة مستقلة، شملت قيمة شاذة، وحقلًا غائبًا لعدد وحدات معالجة الرسوميات، وكتلة تحقق صريحة. لم نشغل نموذجًا أو حاوية أو مهمة من الاختبار المعياري.

