# Terminal-Bench संसाधन सेटिंग की गणना

बनाया गया: 2026-11-17
अपडेट किया गया: 2026-11-17

## सवाल और समग्र समूह

Terminal-Bench v4.1.0 में एक ही सैंडबॉक्स प्रीसेट कार्यों के लिए घोषित किन सेटिंग को बदलेगा? यह अध्ययन प्रकाशित सेटिंग की तुलना करता है ताकि मूल्यांकन टीमें एनवायरनमेंट कॉन्फ़िगरेशन चुन सकें और उसे दर्ज कर सकें. यह वास्तविक संसाधन उपयोग, न्यूनतम हार्डवेयर, कीमत, पूरा होने का समय, मॉडल का प्रदर्शन या विफलता की संभावना का अनुमान नहीं लगाता.

समग्र समूह में आधिकारिक v4.1.0 रिलीज़ मैनिफ़ेस्ट के सभी 66 सदस्य हैं, उसकी रिपॉज़िटरी की हर कार्य जैसी फ़ाइल नहीं. रिलीज़ 3 नवंबर 2026 को प्रकाशित हुई थी. हमने 17 नवंबर 2026 को कॉन्फ़िगरेशन मेटाडेटा पढ़ा. [आधिकारिक डेटासेट कार्ड](https://huggingface.co/datasets/harborframework/terminal-bench) रिलीज़ और उसके [मैनिफ़ेस्ट](https://huggingface.co/datasets/harborframework/terminal-bench/resolve/v4.1.0/registry.json) की पहचान करता है. स्रोत रिपॉज़िटरी `harbor-framework/terminal-bench` के कमिट `4070d6cef56a7d20cb5dc98d5e10ada88a6b9440` पर पिन की गई है.

मैनिफ़ेस्ट का SHA-256 `8809dc185dcb431e3a92ea1eaeb8f82ec63aa98050051815d0d6005ce2c99262` है. हर अवलोकन में पिन किया गया स्रोत URL और पूरी स्रोत फ़ाइल `task.toml` का SHA-256 शामिल है. रिलीज़ मैनिफ़ेस्ट के बाहर के पुराने कार्य, CI फ़िक्स्चर और टेम्पलेट शामिल नहीं हैं. कोई कार्य, कंटेनर, मॉडल या सत्यापन स्क्रिप्ट नहीं चलाई गई.

## एक्सट्रैक्शन

इकाई मैनिफ़ेस्ट का एक कार्य है. कलेक्टर Python की स्टैंडर्ड लाइब्रेरी से TOML पार्स करता है और शीर्ष-स्तरीय एनवायरनमेंट में स्पष्ट रूप से दिए गए CPU, मेमोरी, स्टोरेज, GPU, GPU प्रकार, TPU और बिल्ड टाइमआउट के मान दर्ज करता है. छोड़े गए फ़ील्ड को छोड़ा हुआ ही रखा जाता है. एजेंट और वेरिफ़ायर के टाइमआउट मान अलग रखे जाते हैं. सार की गणना में संख्यात्मक `1200` और `1200.0` समान हैं; स्रोत अवलोकनों में उनके पार्स किए गए प्रकार सुरक्षित हैं.

वेरिफ़ायर एनवायरनमेंट ब्लॉक की मौजूदगी, संसाधन फ़ील्ड की मौजूदगी से अलग दर्ज की गई है. कलेक्टर schema_version, पुराने शीर्ष-स्तरीय version और task version को भी अलग रखता है; यह पुराने संसाधन उपनामों, चरणों और अतिरिक्त एनवायरनमेंट ब्लॉक को चिह्नित करता है. इस रिलीज़ में कोई पुराने संसाधन उपनाम या चरण नहीं मिले. 6 कार्यों में स्पष्ट वेरिफ़ायर एनवायरनमेंट ब्लॉक हैं. पूरे अवलोकनों में इन ब्लॉक के चुने हुए फ़ील्ड रखे गए हैं; CPU/RAM के मुख्य वितरण केवल कार्य के शीर्ष-स्तरीय एनवायरनमेंट से संबंधित हैं.

स्रोत की 66 TOML फ़ाइलों का कुल आकार 85,966 बाइट है. प्रकाशित एक्सट्रैक्शन में चुने हुए कॉन्फ़िगरेशन तथ्य, फ़ील्ड नाम, कार्य पहचानकर्ता और स्रोत हैश हैं. इसमें कार्य निर्देश, समाधान, टेस्ट, लेखकों की संपर्क जानकारी और एनवायरनमेंट वेरिएबल के मान शामिल नहीं हैं. इस पैकेज में पूरी स्रोत फ़ाइलें और बेंचमार्क इमेज दोबारा वितरित नहीं की गई हैं.

## बनाई गई तुलना

CPU, मेमोरी, स्टोरेज और GPU की संख्या में से हर एक के लिए हमने 66 शीर्ष-स्तरीय एनवायरनमेंट घोषणाओं में सबसे अधिक बार स्पष्ट रूप से दिया गया मान चुना: 2 CPU, 4,096 MB मेमोरी, 10,240 MB स्टोरेज और 0 GPU. इन मानों को मिलाकर हमारा तुलना प्रीसेट बनता है. यह Harbor का डिफ़ॉल्ट, किसी वेंडर की सिफ़ारिश या देखा गया मूल्यांकन सेटअप नहीं है.

कोई कार्य “तुलना प्रीसेट से ऊपर” वाले समूह में तब शामिल होता है जब उसका कम से कम एक स्पष्ट संख्यात्मक मान संबंधित प्रीसेट मान से बड़ा हो. हम हर फ़ील्ड की संख्या को जोड़ने के बजाय कार्य पहचानकर्ताओं का सम्मिलित समूह लेते हैं. गायब GPU मान न तो शून्य गिने जाते हैं और न ही प्रीसेट से ऊपर का अपवाद बनाते हैं. जिन 8 कार्यों में GPU की संख्या छोड़ी गई है, उन्हें स्रोत डेटा में अलग पहचाना जा सकता है. 38 कार्यों का सम्मिलित समूह घोषणाओं में अंतर मापता है; यह अनुमान नहीं लगाता कि कोई कार्य किसी प्रीसेट के तहत चल या पास हो सकता है या नहीं.

हम CPU, मेमोरी, स्टोरेज, GPU संख्या, GPU प्रकार और TPU में अलग-अलग घोषणा पैटर्न भी गिनते हैं; इसमें टाइमआउट शामिल नहीं हैं. मूल पैटर्न संख्या 27 है. छोड़ी गई GPU संख्या को शून्य मानने पर यह संख्या 22 हो जाती है. इसी संवेदनशीलता के कारण लेख पैटर्न की संख्या को हार्डवेयर आवश्यकताओं की संख्या के रूप में पेश करने के बजाय अलग-अलग संसाधन फ़ील्ड और पारदर्शी तुलना से शुरू होता है.

## रनर की व्याख्या

हमने commit `ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4` पर Harbor स्रोत की समीक्षा की, जिसके प्रोजेक्ट मेटाडेटा में संस्करण 0.26.0 बताया गया है. ये कोड पढ़ने से मिले निष्कर्ष हैं; सभी कार्यों या बैकएंड को चलाकर किया गया सत्यापन नहीं.

- [टास्क पार्सर](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/config.py#L435) CPU, मेमोरी, स्टोरेज और GPU की संख्या को null रहने देता है और पुराने मेमोरी/स्टोरेज स्ट्रिंग को माइग्रेट करता है. इसका schema-version फ़ील्ड एक स्ट्रिंग है; केवल संस्करण माइग्रेशन का रास्ता यह स्थापित नहीं करता कि हर कार्य चल सकता है.
- [बेस एनवायरनमेंट](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/base.py#L468) ट्रायल ओवरराइड लागू करता है. वहां छोड़ी गई GPU संख्या शून्य बन जाती है; CPU/मेमोरी को अनदेखा करने की नीतियां उन मानों को दबा सकती हैं. रनर के छोड़े गए मान को किसी मान में बदलने पर भी हम डेटासेट में उसे छोड़ा हुआ ही रखते हैं.
- [वेरिफ़ायर रिज़ॉल्वर](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/models/task/verifier_mode.py#L15) दिए गए वेरिफ़ायर एनवायरनमेंट को पूरे के रूप में इस्तेमाल करता है; अन्यथा वह टास्क एनवायरनमेंट की कॉपी बनाता है. यह स्पष्ट वेरिफ़ायर ब्लॉक को एजेंट सेटिंग के साथ फ़ील्ड दर फ़ील्ड नहीं मिलाता. [ट्रायल बनाते समय](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1104) फिर भी एनवायरनमेंट ओवरराइड पास किए जाते हैं.
- [Docker अडैप्टर](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/docker.py#L568) ऑटो CPU/मेमोरी नीतियों को सीमाओं में बदलता है और GPU प्रकार के चयन को स्पष्ट रूप से अनदेखा करता है. इसका [Compose संसाधन राइटर](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/environments/docker/__init__.py#L36) CPU, मेमोरी और GPU संख्या की सीमाएं लिखता है, स्टोरेज की अधिकतम सीमा नहीं. मौजूदा Compose कॉन्फ़िगरेशन और अन्य प्रदाताओं का व्यवहार अलग हो सकता है.
- [टाइमआउट रिज़ॉल्यूशन](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L695) और [बजट गणना](https://github.com/harbor-framework/harbor/blob/ec6aeab7fe0eb51df52b4e72c524daf5ea9cc5f4/src/harbor/trial/trial.py#L1724) में ओवरराइड, अधिकतम सीमाएं और गुणक इस्तेमाल हो सकते हैं. एजेंट, वेरिफ़ायर और बिल्ड की टाइमआउट घोषणाएं देखी गई अवधियां नहीं हैं. उनके योग को कुल ट्रायल अवधि की सीमा नहीं बताया गया है.

इस गणना में हर Dockerfile, Compose साइडकार, इमेज या बाहरी सेवा की जांच नहीं की गई. वे शीर्ष-स्तरीय कॉन्फ़िगरेशन फ़ील्ड से बाहर संसाधन आवश्यकताएं और पाबंदियां जोड़ सकते हैं. इस अध्ययन से बेंचमार्क की वैधता या स्कोर में बदलाव के बारे में कोई निष्कर्ष नहीं निकलता.

## दोहराएं

Python 3.11 या उसके बाद के संस्करण के साथ, दिए गए `census.json` से `census-results.json` दोबारा बनाने के लिए `python3 census.py` चलाएं. विश्लेषण से पहले तय मैनिफ़ेस्ट और सभी 66 पिन की गई TOML फ़ाइलें फिर से प्राप्त करने के लिए `python3 census.py --collect` चलाएं. कलेक्टर एक साथ अधिकतम 3 फ़ाइलें पढ़ता है, मैनिफ़ेस्ट को 300 KB और हर कार्य को 100 KB तक सीमित रखता है, और मैनिफ़ेस्ट की सदस्यता या पिन किया गया मैनिफ़ेस्ट हैश अलग होने पर विफल हो जाता है. यह प्रदाता की किसी चीज़ में बदलाव नहीं करता और डाउनलोड किया गया कोड नहीं चलाता.

मूल 2 SVG चित्र दोबारा बनाने के लिए `python3 render-assets.py` चलाएं. चित्र बनाने में ReportLab का उपयोग होता है; प्रकाशित मास्टर ReportLab 4.4.9 और Python 3.12.14 से रेंडर किए गए थे. वितरण चित्र सीधे विश्लेषण के परिणाम पढ़ता है. दूसरा चित्र कॉन्फ़िगरेशन रिकॉर्ड का लेखक द्वारा बनाया गया आरेख है, अनुभवजन्य डेटा नहीं. दोनों SVG में टेक्स्ट, सुलभ शीर्षक और विवरण सुरक्षित हैं.

स्रोत बेंचमार्क [Apache License 2.0](https://github.com/harbor-framework/terminal-bench/blob/4070d6cef56a7d20cb5dc98d5e10ada88a6b9440/LICENSE) का उपयोग करता है. स्रोत के कॉपीराइट उसके लेखकों के पास रहते हैं. यह पैकेज Sapien1 का चुना हुआ तथ्यात्मक एक्सट्रैक्शन और मूल विश्लेषण है; यह थर्ड-पार्टी कार्य एसेट या कंटेनर की सामग्री पर अधिकार नहीं देता.
