मुख्य सामग्री पर जाएँ

मेन्यू

शोध

क्या दो बेंचमार्क स्कोर की तुलना की जा सकती है?

भाषा: हिन्दी

पहले तय करें कि स्कोर से किस निर्णय में मदद मिलनी चाहिए। किसी पुराने नतीजे का हवाला देने के लिए ठीक वही प्रकाशित तालिका पहचानें। दो एजेंटों में से चुनने के लिए जाँचें कि दोनों ने उन्हीं मामलों को समान नियमों के तहत हल करने का प्रयास किया। फिर उन्हीं मामलों के नतीजों से तुलना करें। चार सार्वजनिक उदाहरण दिखाते हैं कि ये जाँचें क्यों ज़रूरी हैं।

वह तालिका ढूँढें जिसका हवाला दिया गया है

LiveBench ने दो अलग स्रोत तालिकाओं के लिए लीडरबोर्ड का वही लेबल, 2025-05-30, इस्तेमाल किया। तय संशोधनों वाली दोनों तालिकाओं में 30 मॉडल लेबल समान हैं। उनमें से 28 में, अलग Coding श्रेणी के दो स्कोरों में से कम से कम एक बाद की तालिका में अधिक है। रखरखाव करने वालों ने बताया कि उन्होंने मूल्यांकन ढाँचे और चरण सीमा में बदलाव करके Agentic Coding फिर चलाया। स्रोत तालिकाएँ अलग Coding श्रेणी में बदलाव का कारण नहीं बतातीं। उद्धृत संख्या के साथ तालिका का संशोधन या फ़ाइल का हैश सहेजें। बेंचमार्क की तारीख का लेबल अलग फ़ील्ड में रखें। LiveBench की पुरानी तालिका · LiveBench की बाद की तालिका · रखरखाव दल का बदलाव लॉग

सफलता दरों की तुलना से पहले मामलों का मिलान करें

संसाधनों की दो उदाहरण सीमाओं में से हर एक Terminal-Bench v4.1.0 के 66 कार्यों में से 44 चुनती है। सिर्फ़ 36 कार्य आईडी दोनों चयनों में हैं। सीमाएँ हैं 4 CPU, 8,192 MB मेमोरी और 10,240 MB स्टोरेज, या 2 CPU, 16,384 MB मेमोरी और 20,480 MB स्टोरेज। संसाधन फ़िल्टर हर सीमा को कार्य और सत्यापनकर्ता, दोनों के परिवेशों के लिए घोषित मानों पर लागू करता है। नीचे दिए गए नतीजे काल्पनिक हैं। Terminal-Bench की संसाधन सेटिंग और फ़िल्टर

मान लें कि एजेंट A पहले चयन में 32 मामले हल करता है और एजेंट B दूसरे चयन में 34। हर चयन में साझा समूह से बाहर आठ मामले हैं। इसलिए 36 साझा मामलों में से A ने 24 से 32 और B ने 26 से 34 मामले हल किए हो सकते हैं। अगर A ने 32 साझा मामले और B ने 26 हल किए, तो साझा समूह में A छह मामलों से आगे होगा। अगर A ने 24 और B ने 34 हल किए, तो B दस मामलों से आगे होगा। दोनों स्थितियाँ बताए गए कुल आँकड़ों से मेल खाती हैं।

काल्पनिक नतीजाअपने 44 मामलों के चयन में हल किए गए मामले36 साझा मामलों में से हल किए गए मामलों की संभावित संख्या
एजेंट A3224–32
एजेंट B3426–34

इस उदाहरण में कुल आँकड़े साझा मामलों पर क्रम तय नहीं करते। हर मामले का नतीजा माँगें या दोनों एजेंटों को मामलों की एक ही सत्यापित सूची पर आँकें। अगर अलग रन में संसाधन बजट अलग थे, तो परिणाम को उन कॉन्फ़िगरेशन की तुलना के रूप में बताएं। सिर्फ़ एजेंट बदलने का असर जानने के लिए बजट और बाकी रन की शर्तें समान रखें। एजेंटों की रैंकिंग से पहले साझा हर तय करें और निर्णय लें कि गुम, विफल या बिना अंक वाले रन कैसे गिने जाएँगे। इससे मिली कवरेज की जानकारी दें।

जाँचें कि स्कोर देने वाले तंत्र ने समान इनपुट इस्तेमाल किए

फ़रवरी और अगस्त 2026 के SWE-bench Verified परीक्षण स्नैपशॉट में एक जैसे 500 मामला आईडी हैं। अगस्त के दो कमिट ने Astropy के एक मामले के लिए एक अपेक्षित रिग्रेशन टेस्ट प्रविष्टि और Django के एक मामले के लिए पाँच प्रविष्टियाँ हटाईं। संशोधन बताते हैं कि सहेजी हुई सूचियों में क्या बदला। स्कोर पर असर मापने के लिए दोनों संशोधनों में उन्हीं प्रस्तावित पैच का मूल्यांकन करें और बाकी सेटिंग समान रखें। एजेंटों की तुलना के लिए दोनों का डेटासेट संशोधन, स्कोर देने वाला तंत्र, निष्पादन परिवेश और मूल्यांकन विकल्प एक जैसे रखें। फ़रवरी का परीक्षण स्नैपशॉट · अगस्त का परीक्षण स्नैपशॉट · SWE-bench का पहला बदलाव · SWE-bench का दूसरा बदलाव · स्कोर देने वाले तंत्र का स्रोत

हर मामले का नतीजा देने वाली फ़ाइल इस्तेमाल करने से पहले सत्यापित करें

Every Eval Ever नमूना-स्तर के नतीजे ढूँढने के लिए समेकित रिकॉर्ड और संग्रह का इंडेक्स देता है। डेटा भंडार के एक तय संशोधन में दोनों स्रोत संबंधित नमूना फ़ाइलों के लिए अलग SHA-256 मान बताते हैं। यह अंतर MMLU-Pro इंडेक्स की सभी 14 और gsm8k इंडेक्स की सभी 11 प्रविष्टियों में है। हर संग्रह में सूची की पहली नमूना फ़ाइल डाउनलोड करने पर उसका हैश इंडेक्स के मान से मिला। समेकित रिकॉर्ड का चेकसम अलग था। यह जाँच फ़ाइल के स्तर पर अंतर दिखाती है। इससे स्कोर की शुद्धता या अंतर के कारण का आकलन नहीं होता। MMLU-Pro इंडेक्स · GSM8K इंडेक्स · GSM8K के समेकित रिकॉर्ड का उदाहरण

फ़ाइल का अपरिवर्तनीय स्थान और सत्यापित हैश उन जोड़ीदार नतीजों के साथ रखें जिनका इस्तेमाल करते हैं। अगर प्रकाशक के बताए मान अलग हैं, तो फ़ाइल को स्कोर का प्रमाण बनाने से पहले उस अंतर को सुलझाएँ।

तुलना का रिकॉर्ड रखें

रिकॉर्डक्या सहेजें
प्रकाशित नतीजास्रोत URL, बेंचमार्क लेबल, तालिका का संशोधन या हैश, मापदंड और इकाई
मामले और परीक्षण रनडेटासेट का संशोधन और विभाजन, मामलों और परीक्षण रन की सटीक आईडी, स्कोर का हर और बाहर रखने के नियम
निष्पादन की शर्तेंएजेंट और मॉडल के संशोधन, टूल, स्कोर देने वाला तंत्र और उसका कॉन्फ़िगरेशन, बजट, परिवेश आईडी और उपलब्ध होने पर इमेज का हैश
सबूतहर मामले का आउटपुट या नतीजा, फ़ाइलों के अपरिवर्तनीय स्थान और सत्यापित हैश

प्रदर्शन के बारे में उतना ही निष्कर्ष निकालें जितना आपके रिकॉर्ड प्रमाणित करते हैं। पुराने नतीजे का हवाला देते समय उसका सटीक स्रोत बताएं। एजेंटों की तुलना में बताई गई शर्तों के तहत हर मामले के जोड़ीदार नतीजे और कवरेज की जानकारी दें।