मुख्य सामग्री पर जाएँ

मेन्यू

शोध

Terminal-Bench के 66 कार्यों की संसाधन सेटिंग

भाषा: हिन्दी

Terminal-Bench v4.1.0 के 66 कार्यों में अलग-अलग संसाधन सेटिंग घोषित हैं। कॉन्फ़िगरेशन फ़ाइलों की जाँच में 31 कार्यों ने 4,096 MB से अधिक मेमोरी और 22 ने दो से अधिक CPU बताए। तुलना के लिए हमने CPU, मेमोरी, स्टोरेज और GPU के सबसे आम स्पष्ट मानों को मिलाकर एक कॉन्फ़िगरेशन बनाया। 38 कार्यों में कम से कम एक घोषित मान उस कॉन्फ़िगरेशन के संबंधित मान से अधिक है। इन अंतरों से पता चलता है कि अलग-थलग मूल्यांकन परिवेश तैयार करते समय किन सेटिंग को बनाए रखना या दर्ज करना चाहिए। इनसे संसाधन की खपत या कार्य के विफल होने का अनुमान नहीं लगाया जा सकता।

उसी बेंचमार्क को नए परिवेश में चलाने पर कौन-सी शर्तें बनी रहेंगी? यह कार्य और रनर के संस्करण, कार्य के मानों को बदलने वाले विकल्प और बैकएंड के नियमों पर निर्भर है।

एक ही रिलीज़ में अलग-अलग संसाधन स्तरों वाले कार्य हैं

हमने 3 नवंबर 2026 को जारी Terminal-Bench v4.1.0 के आधिकारिक मैनिफ़ेस्ट के सभी कार्य जाँचे। इसमें रिलीज़ के पूरे 66 कार्य शामिल हैं। हर कार्य की task.toml फ़ाइल स्रोत के एक तय रिविज़न पर है। रिपॉज़िटरी में पुराने कार्य और परीक्षण की सहायक फ़ाइलें भी हैं, जिन्हें इस जाँच में शामिल नहीं किया गया। आधिकारिक रिलीज़ और मैनिफ़ेस्ट

मुख्य कार्य परिवेश में घोषित CPU की संख्या 2 से 16 और मेमोरी 4,096 से 32,768 MB तक है। सबसे सामान्य CPU मान दो है, जो 44 कार्यों में है। मेमोरी का सबसे सामान्य मान 4,096 MB है, जो 35 कार्यों में है। शेष कार्यों में इससे अधिक मान दिए गए हैं।

सभी 66 कार्यों में CPU और मेमोरी के स्पष्ट मानों की गिनती। 44 कार्यों में 2 CPU, 14 में 4, 6 में 8 और दो में 16 CPU हैं। 35 कार्यों में 4,096 MB, 22 में 8,192 MB, 8 में 16,384 MB और एक में 32,768 MB मेमोरी है।
चित्र पूरे आकार में देखें

चित्र के दोनों हिस्सों में वही 66 कार्य परिवेश हैं। मान रिलीज़ की कॉन्फ़िगरेशन फ़ाइलों से लिए गए हैं। पूरे अवलोकन डेटा में हर कार्य के लिए तय रिविज़न का URL और स्रोत फ़ाइल का हैश शामिल है।

टीम के इंफ़्रास्ट्रक्चर को मानकीकृत करते समय ये अंतर मायने रखते हैं। एक जैसा परिवेश शेड्यूलिंग आसान कर सकता है, लेकिन यदि रनर कार्य-विशिष्ट सेटिंग लागू नहीं करता तो कुछ घोषित शर्तें बदल जाती हैं। अधिक हार्डवेयर होने से कोई कम घोषित सीमा अपने आप बनी नहीं रहती। तुलना के लिए देखें कि रनर और बैकएंड वास्तव में किन सीमाओं को लागू करते हैं।

आम मानों को जोड़ने पर कई घोषित सेटिंग बदलती हैं

तुलना के कॉन्फ़िगरेशन में हमने चारों फ़ील्ड से सबसे आम स्पष्ट मान लिया।

फ़ील्डतुलना वाले कॉन्फ़िगरेशन का मान
CPU की संख्या2
मेमोरी4,096 MB
स्टोरेज10,240 MB
GPU की संख्या0

यह कॉन्फ़िगरेशन विश्लेषण के लिए बनाया गया है। यह Harbor की डिफ़ॉल्ट सेटिंग, किसी विक्रेता की सिफ़ारिश या देखे गए किसी डिप्लॉयमेंट का वर्णन नहीं है। अलग-अलग मान आम हैं। उनका पूरा संयोजन कितनी बार मिलता है, यह अलग हो सकता है।

हर कार्य के लिए हमने जाँचा कि क्या कोई स्पष्ट मान तुलना के संबंधित मान से अधिक है। यह 66 में से 38 कार्यों में हुआ। फ़ील्ड के हिसाब से 22 कार्यों ने CPU की तुलना सीमा, 31 ने मेमोरी की, 17 ने स्टोरेज की और तीन ने GPU की संख्या की सीमा पार की। ये समूह एक-दूसरे से मिलते हैं, इसलिए सीधे योग से कुछ कार्य एक से अधिक बार गिने जाएँगे। तुलना के परिणाम सभी संबंधित कार्यों और हर फ़ील्ड के सटीक कार्य ID देते हैं।

बाकी 28 कार्यों में कोई दर्ज मान तुलना के इन चार मानों से अधिक नहीं है। इससे उन कार्यों के लिए कॉन्फ़िगरेशन की अनुकूलता सिद्ध नहीं होती। आठ कार्य GPU की संख्या नहीं बताते। जाँच में इसे शून्य दर्ज करने के बजाय अनुपस्थित रखा गया है। फ़ाइलें, सहायक कंटेनर, इमेज और सेवाएँ इन चार फ़ील्ड से बाहर की ज़रूरतें भी जोड़ सकती हैं।

GPU के बिना चलाने के लिए रखरखावकर्ता Terminal-Bench 4.1.0 में केवल CPU पर चलाने के लिए 63 कार्यों का अलग डेटासेट देते हैं। इसे harbor run -d terminal-bench/terminal-bench-cpu-only@4.1.0 से चलाएँ और परिणामों को पूरे 66-कार्य वाले रिलीज़ के स्कोर से अलग दर्ज करें। इस डेटासेट में शामिल होने से यह तय नहीं होता कि कार्य किसी विशेष CPU, मेमोरी या स्टोरेज सीमा में आएगा।

रन शुरू करने से पहले अपवादों की सूची से देखें कि कोई मानकीकृत परिवेश किन सेटिंग को बदलेगा।

रनर और बैकएंड घोषणाओं को अपने नियमों के अनुसार पढ़ते हैं

कार्य फ़ाइल मूल्यांकन कॉन्फ़िगरेशन का एक हिस्सा है। घोषित मानों के इस्तेमाल को समझने के लिए हमने Harbor को एक तय रिविज़न पर जाँचा, जिसके पैकेज मेटाडेटा में संस्करण 0.26.0 दिया है।

देखे गए कोड में किसी प्रयास के विकल्प कार्य के संसाधन मान बदल सकते हैं। CPU और मेमोरी की नीतियाँ भी तय कर सकती हैं कि मान लागू होंगे या अनदेखे रहेंगे। पार्सर ऐसे CPU, मेमोरी और स्टोरेज मानों को अनिर्दिष्ट रखता है जो दिए नहीं गए हों। बुनियादी परिवेश GPU की अनुपस्थित संख्या को प्रभावी रूप से शून्य मानता है। जाँच उस मूल अनुपस्थिति को बनाए रखती है, ताकि कार्य की लिखी सेटिंग को रनर की व्याख्या से अलग रखा जा सके। देखे गए Harbor रिविज़न में परिवेश का व्यवहार

बैकएंड भी नतीजे को प्रभावित करता है। देखे गए Docker अडैप्टर में CPU और मेमोरी की स्वचालित नीतियाँ सीमाओं में बदलती हैं। अडैप्टर GPU का प्रकार चुनने वाली सेटिंग को स्पष्ट रूप से अनदेखा करता है, और Compose संसाधन लिखने वाला कोड स्टोरेज की अधिकतम सीमा नहीं लिखता। तीन कार्य स्पष्ट रूप से H100 बताते हैं, लेकिन उस फ़ील्ड से यह साबित नहीं होता कि Docker उसे आवंटित करता है। इसी तरह, केवल storage_mb से Docker में डिस्क सीमा साबित नहीं होती। मौजूदा Compose कॉन्फ़िगरेशन अतिरिक्त पाबंदियाँ लगा सकता है और दूसरे बैकएंड अलग तरीके से काम कर सकते हैं। Docker अडैप्टर · Compose संसाधन लिखने वाला कोड

मूल्यांकन दोहराने के लिए घोषणा को सुरक्षित रखें और दर्ज करें कि चुने गए बैकएंड ने उसे कैसे लागू किया। माँगी गई सेटिंग और वास्तविक आवंटन अलग सवालों के जवाब देते हैं।

मूल्यांकन में दर्ज करने के लिए चार बातें। तय रिविज़न पर कार्य की घोषणा, रनर का संस्करण और मान बदलने वाले विकल्प, बैकएंड की संसाधन नीतियाँ, और जहाँ पता लगाया जा सके वहाँ वास्तविक आवंटन।
चित्र पूरे आकार में देखें

माँगी गई सेटिंग और देखे गए आवंटन को अलग फ़ील्ड में रखें।

एजेंट की समय सीमा और सत्यापन की सेटिंग अलग दर्ज करें

सभी 66 कार्य फ़ाइलों में एजेंट की समय सीमा स्पष्ट रूप से 28,800 सेकंड यानी आठ घंटे रखी गई है। यह कॉन्फ़िगर की गई अधिकतम सीमा है। सत्यापन की घोषित सीमाएँ 60 से 18,000 सेकंड तक हैं और परिवेश तैयार करने की सीमाएँ 300 से 18,000 सेकंड तक। कार्य की अवधि का अनुमान लगाते समय इन चरणों को अलग रखें।

देखा गया रनर समय सीमाएँ बदल सकता है और अधिकतम मान व गुणक लागू कर सकता है। जाँचे गए फ़ंक्शन में अधिकतम मान गुणक से पहले लागू होता है। विश्लेषण कुल बीते समय की भविष्यवाणी के लिए चरणों की सीमाओं को नहीं जोड़ता। देखे गए रिविज़न में समय सीमाएँ तय करने का तरीका · हर चरण का समय बजट

हमने Harbor के जिस संस्करण की जाँच की, उसके समय सीमा नियमों से Terminal-Bench v4.1.0 के सभी 66 कार्यों के लिए सत्यापन की समय सीमाएँ निकालीं। हमने 600 सेकंड का अधिकतम मान और समय सीमा को 600 सेकंड से बदलने का विकल्प अलग-अलग आज़माया। दोनों में गुणक 1 था। दोनों में सबसे बड़ी गणना की गई समय सीमा 600 सेकंड थी। अधिकतम मान से 28 छोटी समय सीमाएँ बनी रहीं। समय सीमा बदलने पर वे सभी 28 सीमाएँ बढ़कर 600 सेकंड हो गईं। इस सेटिंग में छोटी समय सीमाएँ बनाए रखने के लिए अधिकतम मान का इस्तेमाल करें और दर्ज करें कि आपने कौन-सी सेटिंग इस्तेमाल की। Harbor शुरुआती समय सीमा कैसे चुनता है · Harbor अधिकतम मान और गुणक कैसे लागू करता है

जिस जॉब के अंदर एजेंट स्थानीय रूप से चल रहा है, उसकी समय सीमा एजेंट को उसकी अपनी समय सीमा से पहले रोक सकती है। उदाहरण के लिए, किसी कार्य के लिए एजेंट को आठ घंटे मिले हों, तो छह घंटे की सीमा वाले GitHub पर होस्ट किए गए जॉब के अंदर उसे पूरे आठ घंटे नहीं मिल सकते। उसी जॉब के अंदर की गई तैयारी में भी उपलब्ध समय का कुछ हिस्सा खर्च होता है। जॉब की समय सीमा और एजेंट की समय सीमा अलग-अलग दर्ज करें।

हर कार्य स्पष्ट रूप से अलग सत्यापन चुनता है। छह कार्य सत्यापक के परिवेश का अलग ब्लॉक देते हैं। जाँचा गया Harbor फ़ंक्शन स्पष्ट रूप से दिया गया सत्यापक ब्लॉक पूरा चुनता है और उसके फ़ील्ड को कार्य परिवेश में एक-एक करके नहीं मिलाता। अलग ब्लॉक न होने पर वह कार्य परिवेश की प्रति बनाता है। किसी प्रयास के विकल्प अब भी सत्यापक के प्रभावी कॉन्फ़िगरेशन में बदलाव कर सकते हैं। सत्यापक परिवेश चुनने का तरीका

सेटिंग एक जैसी हों तो भी एजेंट और सत्यापक की जानकारी अलग दर्ज करें। अलग सत्यापन का चुनाव अपने आप यह नहीं बताता कि वास्तव में कितने संसाधन दिए गए या दोनों परिवेश एक साथ संसाधन इस्तेमाल करते हैं।

समान नाम और पाथ वाले 66 कार्यों में हमने Terminal-Bench 4.0 और 4.1 की CPU, मेमोरी, स्टोरेज, GPU, समय सीमा और सत्यापन मोड की घोषणाओं की तुलना की। तुलना में दो कार्यों में इन फ़ील्ड के बदलाव मिले। distributed-dedup में सत्यापक की समय सीमा 1,800 से 3,900 सेकंड हुई। payments-pipeline-fix में सत्यापक के स्पष्ट मान 6 CPU और 12,288 MB से 8 CPU और 16,384 MB हुए। ये घोषित मान हैं। 4.1 के रिलीज़ नोट कहते हैं कि सभी 66 कार्य बदले गए थे। इस सीमित तुलना से यह तय नहीं होता कि निर्देश, इमेज या सत्यापक बराबर हैं।

compare-versions.py और census.json एक ही फ़ोल्डर में डाउनलोड करें। Python 3.11 या इसके बाद का संस्करण और इंटरनेट कनेक्शन इस्तेमाल करें, फिर उस फ़ोल्डर से python3 compare-versions.py > comparison.json चलाएँ। स्क्रिप्ट 4.0 की रजिस्ट्री का तय रिविज़न और कार्यों का मेटाडेटा लेती है। वह कार्य खुद नहीं चलाती। स्थानीय रिपोर्ट मूल स्रोत और बेंचमार्क डेटा को ट्रेनिंग कॉर्पस से बाहर रखने के प्रोजेक्ट के अनुरोध को दर्ज रखती है।

मूल्यांकन कॉन्फ़िगरेशन बदलते समय क्या बचाकर रखें

जाँच के आधार पर आप सेटिंग का संक्षिप्त रिकॉर्ड बना सकते हैं।

  1. कार्य सेट तय करें। रिलीज़ मैनिफ़ेस्ट, स्रोत रिविज़न और कार्यों के पाथ साथ रखें। पूरी रिपॉज़िटरी की फ़ाइल संख्या में रिलीज़ से बाहर की सामग्री हो सकती है।
  2. मूल घोषणाएँ बनाए रखें। स्पष्ट मान और अनुपस्थित फ़ील्ड दर्ज करें। अलग सत्यापक सेटिंग और हर चरण की समय सीमा शामिल करें।
  3. रनर और विकल्प दर्ज करें। सटीक संस्करण या रिविज़न और कार्य की सेटिंग बदलने या उनका पैमाना बदलने वाले विकल्प रखें।
  4. बैकएंड के नियम जाँचें। देखें कि किन फ़ील्ड से सीमा, आरक्षण या डिफ़ॉल्ट बनते हैं, और कौन-से अनुरोध समर्थित नहीं हैं।
  5. देख पाना संभव हो तो वास्तविक आवंटन दर्ज करें। उसे माँगे गए कॉन्फ़िगरेशन और रन के दौरान मापी गई खपत से अलग रखें।

जानबूझकर कोई सीमा या आवंटन बदलें तो परिणाम के साथ बदलाव दर्ज करें। बाद में पढ़ने वाले मूल्यांकन की शर्तें समझ सकेंगे और अलग परिवेशों की तुलना करते समय उनका ध्यान रख सकेंगे।

कॉन्फ़िगरेशन की तुलना और विश्लेषण कोड से अपवाद देखे जा सकते हैं। sapien1 एजेंट मूल्यांकन प्रोजेक्ट का दायरा तय करते समय इसी तरह कार्यों और परिवेशों को जाँचती है।

दूसरी सीमाएँ देखने के लिए संसाधन फ़िल्टर और जाँच डेटा एक ही फ़ोल्डर में डाउनलोड करें। उदाहरण के लिए, python3 filter-census.py --cpus 4 --memory-mb 8192 --status within उन कार्यों को दिखाता है जिनके कार्य और सत्यापक परिवेश के घोषित मान इन सीमाओं में हैं। आउटपुट अनुपस्थित फ़ील्ड को बरकरार रखता है और यह साबित नहीं करता कि कार्य चलेगा। Terminal-Bench का अनुरोध है कि बेंचमार्क डेटा ट्रेनिंग कॉर्पस में न रखा जाए।

हर संसाधन सीमा के तहत चुने गए कार्यों की तुलना करें

संसाधन सीमाओं के दोनों उदाहरणों में Terminal-Bench v4.1.0 के 66 कार्यों में से 44 चुने जाते हैं. दोनों सूचियों में 36 कार्य समान हैं और हर सूची में 8 ऐसे कार्य हैं जो दूसरी सूची में नहीं हैं. फ़िल्टर हर सीमा के लिए CPU, मेमोरी और स्टोरेज के घोषित मानों को कार्य और सत्यापन के परिवेशों में अलग-अलग जाँचता है.

CPU की संख्यामेमोरी (MB)स्टोरेज (MB)तीनों सीमाओं में आने वाले कार्य
48,19210,24044
216,38420,48044

दोनों कमांड उस फ़ोल्डर से चलाएँ जिसमें फ़िल्टर और गणना का डेटा है. हर रिपोर्ट में records के भीतर task फ़ील्ड से चुने गए कार्यों की ID मिलती हैं.

python3 filter-census.py --cpus 4 --memory-mb 8192 \
  --storage-mb 10240 --phases both --status within > ceiling-4cpu.json

python3 filter-census.py --cpus 2 --memory-mb 16384 \
  --storage-mb 20480 --phases both --status within > ceiling-2cpu.json

स्कोर की रिपोर्ट देते समय कार्यों की सटीक ID, बेंचमार्क संस्करण और संसाधन सेटिंग साथ में सहेजें. अगर दो रन की तुलना उनके साझा कार्यों पर करते हैं, तो दोनों स्कोर उसी सूची से निकालें.

तरीका और दायरा

17 नवंबर 2026 को हमने एक रिलीज़ की सभी कॉन्फ़िगरेशन घोषणाओं की जाँच पूरी की। जाँच घोषणाओं तक सीमित है और प्रदर्शन नहीं मापती। Terminal-Bench डेटा का स्रोत रिविज़न 4070d6c है। हमने Harbor का रिविज़न ec6aeab देखा, जिसे प्रोजेक्ट मेटाडेटा संस्करण 0.26.0 बताता है। तरीके में पूरे हैश, स्रोत लिंक, डेटा निकालने के नियम और जाँच दोहराने के कमांड हैं।

डेटा इकट्ठा करने वाली स्क्रिप्ट आधिकारिक मैनिफ़ेस्ट और 66 TOML फ़ाइलें पढ़ती है। स्रोत में उनका कुल आकार 85,966 बाइट है। स्क्रिप्ट संस्करण फ़ील्ड अलग रखती है और पुराने संसाधन उपनाम, चरण और अतिरिक्त परिवेश ब्लॉक जाँचती है। इस रिलीज़ में चरण या पुराने संसाधन उपनाम नहीं मिले। सार्वजनिक डाउनलोड में चुने हुए कॉन्फ़िगरेशन तथ्य और स्रोत हैश हैं। इनमें कार्य के निर्देश, समाधान या पूरे परिवेश नहीं हैं।

हमने मैनिफ़ेस्ट में शामिल कार्यों, गणनाओं और स्रोत के कुछ उदाहरणों की स्वतंत्र जाँच की। उदाहरणों में एक असामान्य मान, एक अनुपस्थित GPU फ़ील्ड और सत्यापन का एक स्पष्ट ब्लॉक था। हमने कोई मॉडल, कंटेनर या बेंचमार्क कार्य नहीं चलाया।