# रेफ़रेंस फ़ाइल की जाँच से GDPval के सार्वजनिक कार्यों का मिश्रण बदलता है

किसी बेंचमार्क स्कोर को समझना आसान होता है जब आप जानते हैं कि उसमें कौन से कार्य शामिल हो सकते हैं. सार्वजनिक GDPval गोल्ड कार्य तालिका में 44 व्यवसायों में से हर एक के लिए शुरुआत में पाँच कार्य हैं. लेकिन जिस तुलना के लिए सूचीबद्ध विशेषज्ञ रेफ़रेंस फ़ाइल चाहिए, उसमें उस तालिका की हर पंक्ति को एक ही तरह से इस्तेमाल नहीं किया जा सकता: 220 में से 35 पंक्तियों की `deliverable_files` सूची खाली है.

यह कुल संख्या [gbench में GDPval लागू करने वाले कोड](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) में पहले से दर्ज है. हमने उसी [पिन किए गए GDPval स्नैपशॉट](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) में गिना कि ये खाली सूचियाँ क्षेत्रों और व्यवसायों में कैसे बँटी हैं. सभी 44 व्यवसायों में अब भी कम से कम एक पंक्ति में फ़ाइल सूचीबद्ध है. लेकिन बचा हुआ मिश्रण शुरुआती तालिका जितना समान रूप से नहीं बँटा है.

## किन कार्यों के लिए विशेषज्ञ की रेफ़रेंस फ़ाइल सूची में है?

ये संख्याएँ सिर्फ़ यह बताती हैं कि तालिका में कम से कम एक विशेषज्ञ डिलिवरेबल का पाथ सूचीबद्ध है या नहीं. सूचीबद्ध पाथ इस बात का प्रमाण नहीं है कि फ़ाइल उपलब्ध है या रेंडर की जा सकती है. खाली सूची से यह भी तय नहीं होता कि इस तालिका के बाहर कहीं रेफ़रेंस मौजूद है या नहीं.

| क्षेत्र | सार्वजनिक गोल्ड तालिका में पंक्तियाँ | सूचीबद्ध डिलिवरेबल वाली | खाली सूची वाली |
| --- | ---: | ---: | ---: |
| वित्त और बीमा | 25 | 17 | 8 |
| सरकार | 25 | 22 | 3 |
| स्वास्थ्य देखभाल और सामाजिक सहायता | 25 | 22 | 3 |
| सूचना | 25 | 14 | 11 |
| विनिर्माण | 25 | 25 | 0 |
| पेशेवर, वैज्ञानिक और तकनीकी सेवाएँ | 25 | 24 | 1 |
| रियल एस्टेट, किराया और लीज़िंग | 25 | 20 | 5 |
| खुदरा व्यापार | 20 | 16 | 4 |
| थोक व्यापार | 25 | 25 | 0 |
| **कुल** | **220** | **185** | **35** |

![क्षेत्रवार सूचीबद्ध विशेषज्ञ डिलिवरेबल वाली पंक्तियाँ](https://sapien1.com/research/gdpval-reference-coverage/figures/hi/sector-coverage.svg)

बार सूची में मौजूदगी दिखाते हैं, फ़ाइल की सत्यापित उपलब्धता या उसे रेंडर करने की क्षमता नहीं.

तालिका में व्यवसाय और क्षेत्र के 44 समूह हैं, जिनमें हर एक के पाँच कार्य हैं. इनमें से 22 इस जाँच में अपनी पाँचों पंक्तियाँ बनाए रखते हैं और 22 की दो से चार पंक्तियाँ बचती हैं. हर व्यवसाय अब भी मौजूद है, लेकिन केवल मौजूदगी का अब यह मतलब नहीं है कि हर एक के कार्यों की संख्या समान है.

कुल परिणाम पढ़ते समय क्षेत्रों का यह अंतर उपयोगी है. शुरुआती 220 पंक्तियों में सूचना और विनिर्माण, दोनों की 25-25 पंक्तियाँ, यानी 11.4% हिस्सेदारी है. ठीक उन 185 पंक्तियों के काल्पनिक सारांश में, जिनकी सूची में फ़ाइल मौजूद है और जहाँ हर कार्य को समान वज़न दिया गया है, सूचना की हिस्सेदारी 14/185, यानी 7.6%, और विनिर्माण की 25/185, यानी 13.5% होगी. ये कार्यों के हिस्से हैं, मॉडल स्कोर या अलग-अलग व्यवसायों के मूल्य के अनुमान नहीं.

## क्या मूल्यांकन करने वाला सिस्टम रेफ़रेंस फ़ाइलें पढ़ सकता है?

185 पंक्तियों की गणना gbench के अंतिम स्कोर का हर नहीं है. उसके दस्तावेज़ में चार और कार्यों का ज़िक्र है जिनके सूचीबद्ध डिलिवरेबल टेक्स्ट में रेंडर नहीं होते, जिससे उस स्नैपशॉट में रेफ़रेंस को रेंडर करने योग्य 181 कार्य बचते हैं. हमने स्वतंत्र रूप से उन फ़ाइलों को रेंडर नहीं किया या gbench नहीं चलाया.

यह जाने बिना भी कि वे चार कार्य किन क्षेत्रों में हैं, ये संख्याएँ दस्तावेज़ में दर्ज रेफ़रेंस को रेंडर करने योग्य सेट की उपयोगी सीमा तय करती हैं. अगर वे सूची में फ़ाइल वाली 185 पंक्तियों में से चार अलग-अलग पंक्तियाँ हैं, तो विनिर्माण की कम से कम 21 और सूचना की अधिकतम 14 पंक्तियाँ बचती हैं. हर कार्य को समान वज़न देने पर ये सीमाएँ क्रमशः 21/181 (11.6%) और 14/181 (7.7%) हैं. किसी वास्तविक रन में स्कोर किए गए कार्यों का हर अलग हो सकता है, क्योंकि जनरेशन की विफलता, जज की विफलता और हर कार्य पर प्रयासों की संख्या भी मायने रखती है. ये संख्याएँ OpenAI के मूल मानव-मूल्यांकित परिणामों का वर्णन नहीं करतीं.

मूल्यांकन के दूसरे तरीकों की आवश्यकताएँ अलग हैं. [कमिट `5d6429f` पर NeMo Gym के दस्तावेज़ में दर्ज रूब्रिक मोड](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/README.md) में, एक LLM जज उम्मीदवार डिलिवरेबल को कार्य के रूब्रिक के आधार पर ग्रेड देता है. उसका [प्रिपरेशन कोड](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/benchmarks/gdpval/prepare.py) विशेषज्ञ आउटपुट की `deliverable_files` सूची कॉपी नहीं करता, जबकि उसका [रूब्रिक वेरिफ़ायर](https://github.com/NVIDIA-NeMo/Gym/blob/5d6429f5b1362af47954d8cf72f03cbe443ff941/resources_servers/gdpval/app.py) दोनों रूब्रिक फ़ील्ड खाली होने पर `missing_rubric` रिपोर्ट करता है. सूचीबद्ध कार्य-इनपुट फ़ाइलों को स्टेज करना होगा और उम्मीदवार आउटपुट व जज की भी ज़रूरत होगी; प्रिपरेशन कॉल डेटासेट का संशोधन पिन नहीं करती. हमने NeMo Gym नहीं चलाया और न ही उसकी कवरेज मापी. उसका रूब्रिक स्कोर और gbench की जीत या बराबरी की दर अलग माप हैं.

## जज क्या देख सकता है

रेफ़रेंस की उपलब्धता तुलना का सिर्फ़ एक हिस्सा है. [gbench दस्तावेज़](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/docs/evals/gdpval.md) में पहले से दर्ज है कि 220 में से 32 रूब्रिक उसकी डिफ़ॉल्ट 8,000 वर्णों की रूब्रिक सीमा से बड़े हैं. उसका फ़ॉर्मैटर मूल क्रम में पूरे मानदंड तब तक रखता है जब तक अगला मानदंड सीमा पार न कर दे, फिर काटे जाने का मार्कर जोड़ता है; अगर पहला मानदंड ही सीमा से बड़ा हो, तो उसका केवल एक हिस्सा दिखाता है. वर्णों की संख्या और टोकन की संख्या एक नहीं हैं.

हमने उस पिन किए गए फ़ॉर्मैटर को कार्य तालिका पर लागू किया. सूचीबद्ध विशेषज्ञ डिलिवरेबल वाली 185 पंक्तियों में से 26 रूब्रिक डिफ़ॉल्ट सीमा पर कटेंगे और इन पंक्तियों में कुल 247 पूरे मानदंड छूट जाएँगे. सूचीबद्ध डिलिवरेबल का रेंडर होना ज़रूरी नहीं है, और विफल या खाली जनरेशन के कारण जज कॉल न हो पाए, इसलिए ये जज की गई तुलनाओं की संख्या नहीं हैं. उदाहरण के लिए, केवल फ़ॉर्मैटर की सीमा 12,000 या 16,000 वर्ण करने पर इन 185 रूब्रिक में से क्रमशः दो या शून्य कटेंगे. हमने इन सेटिंग को किसी इवैल्यूएटर या जज के साथ नहीं चलाया. छूटे हुए मानदंडों की संख्या से उनका महत्व या यह तय नहीं होता कि फ़ैसला बदलेगा या नहीं; बड़ी सीमा एक निश्चित कॉन्टेक्स्ट विंडो के बाकी हिस्से के लिए कम जगह छोड़ सकती है. वास्तविक रन में दर्ज कटने की जानकारी को उसके रेफ़रेंस और स्कोरिंग की संख्याओं के साथ देखें.

[रूब्रिक जाँच](https://sapien1.com/research/gdpval-reference-coverage/rubric-screen.zip) DuckDB 1.4.4 से इन संख्याओं को दोबारा निकालती है. यह पूरी पिन की गई कार्य तालिका अस्थायी रूप से डाउनलोड करती है और रूब्रिक टेक्स्ट को मेमोरी में प्रोसेस करती है; इसके आउटपुट में कुल संख्याएँ रहती हैं, कार्य ID या रूब्रिक टेक्स्ट नहीं. सामान्य रन के बाद यह अस्थायी तालिका हटा देती है. यह सीमित नेमस्पेस में gbench का केवल जाँचा गया, हैश से सत्यापित फ़ॉर्मैटर चलाती है; यह नेमस्पेस सुरक्षा सैंडबॉक्स नहीं है. आर्काइव में मूल लाइसेंस और नोटिस शामिल हैं. नीचे दिए गए DuckDB सेटअप के बाद, एनवायरनमेंट बनाने के लिए Python 3.11 का इस्तेमाल करके, आर्काइव डाउनलोड करें और macOS या Linux पर चलाएँ:

```
unzip rubric-screen.zip -d rubric-screen
.gdpval-venv/bin/python rubric-screen/rubric-screen.py > rubric-observations.json
```

## कार्यों से स्कोर तक का रास्ता दर्ज करें

इवैल्यूएशन सेट अप या तुलना करते समय डेटासेट का संशोधन, ज़रूरी रेफ़रेंस का प्रकार और पात्रता का हर नियम दर्ज करें. शुरुआती तालिका में, रेफ़रेंस जाँच के बाद और स्कोरिंग के बाद समूहवार संख्याएँ रिपोर्ट करें. सूचीबद्ध रेफ़रेंस के न होने, रेफ़रेंस के पढ़ने योग्य न होने, जनरेशन विफल होने और जज का फ़ैसला इस्तेमाल योग्य न होने के कारण अलग-अलग रखें. अन्यथा एक ही कुल आँकड़ा छिपा सकता है कि किन कार्यों का योगदान बंद हो गया.

यह भी बताएँ कि बचे हुए कार्यों और प्रयासों को कितना वज़न दिया गया है. संख्याएँ अलग होने पर हर कार्य, हर व्यवसाय और हर प्रयास को समान वज़न देना अलग-अलग सवालों के जवाब देता है. इनमें से कोई भी अपने आप ग़ायब साक्ष्य की भरपाई नहीं करता; सही सारांश इस पर निर्भर है कि इवैल्यूएशन क्या मापने के लिए बनाया गया है.

अगर आप खुद कोई कार्य सेट डिज़ाइन कर रहे हैं, तो [एजेंट इवैल्यूएशन गाइड](https://sapien1.com/hi/agent-evaluation) दिखाती है कि देखे जा सकने वाले जाँच बिंदु कैसे तय करें और बार-बार किए गए परीक्षणों के नतीजे कैसे समझें.

## हर इनपुट फ़ाइल का सटीक वर्ज़न दर्ज करें

पिन की गई कार्य तालिका का यह मतलब नहीं कि इवैल्यूएटर द्वारा डाउनलोड की जाने वाली हर फ़ाइल भी पिन है. [संशोधन `4bf6426` पर पहले की सार्वजनिक GDPval तालिका](https://huggingface.co/datasets/openai/gdpval/tree/4bf642692ef091918ef20797ecca070924815ec1) में 220 में से 122 कार्य पंक्तियों में इनपुट फ़ाइलें सूचीबद्ध हैं. सूचीबद्ध सभी 262 इनपुट URL रिपॉज़िटरी की बदलती `main` ब्रांच की ओर जाते हैं. प्रदाता का मेटाडेटा बताता है कि उन्हीं पाथ में से 62 के आकार और ब्लॉब ID [संशोधन `11e7900`](https://huggingface.co/datasets/openai/gdpval/tree/11e7900cdcac61bc4daf59e65feb238acda98fbf) तक बदल गए थे; वे 62 पाथ पहले की तालिका की 20 पंक्तियों में दिखाई देते हैं. ये कार्य इनपुट हैं, ऊपर गिने गए `deliverable_files` में विशेषज्ञ रेफ़रेंस आउटपुट से अलग.

इससे यह साबित नहीं होता कि किसी खास इवैल्यूएशन में बदला हुआ इनपुट इस्तेमाल हुआ, कोई फ़ाइल खराब है या कोई स्कोर बदला. यह दिखाता है कि सहेजी गई तालिका के बदलते URL बाद में खोलने पर इनपुट का अलग संस्करण क्यों मिल सकता है. हमने इनपुट फ़ाइलों की सामग्री का विश्लेषण नहीं किया.

[Inspect Evals कमिट `5c092d5`](https://github.com/UKGovernmentBEIS/inspect_evals/blob/5c092d54ea8591b4680d4dd593beab637f478ffc/src/inspect_evals/gdpval/util.py) पर GDPval लोडर अपनी कार्य तालिका को संशोधन `a3848a2` पर पिन करता है. वह तालिका ऊपर दी गई पहले की तालिका के बाइट-बाइट समान है और प्रदाता का इनपुट फ़ाइल मेटाडेटा भी मेल खाता है. लोडर तालिका में जोड़े गए URL को सैंपल फ़ाइल मैपिंग में बदलता है; [Inspect का दस्तावेज़](https://inspect.aisi.org.uk/datasets.html#sample-files) कहता है कि उन मैपिंग में URL इस्तेमाल हो सकते हैं. इसलिए यह स्रोत पाथ एक तय तालिका के साथ बदलते URL भी ले जा सकता है. हमने Inspect के फ़ाइल डाउनलोड या कैशिंग की जाँच नहीं की और न ही तय किया कि किसी रन में क्या इस्तेमाल हुआ.

इसके बजाय इवैल्यूएटर डेटासेट के सापेक्ष पाथ को उसी अपरिवर्तनीय संशोधन पर हल कर सकता है जिस पर उसकी तालिका है. [यहाँ जाँचा गया gbench implementation](https://github.com/google-deepmind/gbench/blob/d3e4283162d6c34353fa933284135d2a7ef3b9fe/gbench/third_party/eval_suites/gdpval.py) अटैचमेंट फ़ेच करते समय अपना पिन किया गया संशोधन स्पष्ट रूप से देता है. संशोधन दर्ज करें और जहाँ व्यावहारिक हो, वास्तव में इस्तेमाल की गई फ़ाइलों को सत्यापित करें. [Hugging Face का डाउनलोड दस्तावेज़](https://huggingface.co/docs/huggingface_hub/package_reference/file_download#resolve-a-revision) बताता है कि एक जैसे डाउनलोड के लिए बदलते संशोधन को किसी कमिट पर कैसे हल करें.

[इनपुट URL विश्लेषण स्क्रिप्ट](https://sapien1.com/research/gdpval-reference-coverage/input-url-revisions.py) DuckDB 1.4.4 से संख्याएँ दोबारा निकालती है. यह पहले की कार्य तालिका अस्थायी रूप से डाउनलोड करती है, सामान्य रन के बाद उसे हटा देती है और आउटपुट में कोई कार्य टेक्स्ट, अलग-अलग ID, इनपुट पाथ या इनपुट सामग्री नहीं रखती. एक वैकल्पिक फ़्लैग किसी एक पाथ के रिस्पॉन्स हेडर और मौजूदा `main` संशोधन की जाँच करता है; `main` बदलने पर उसका परिणाम बदल सकता है. उस जाँच के लिए स्क्रिप्ट रीडायरेक्ट सहित केवल `HEAD` अनुरोध भेजती है और अनुपलब्ध परिणामों को अनदेखा छोड़ती है. Python स्टैंडर्ड लाइब्रेरी की जाँचें [Inspect पर पिन की गई तालिका और मेटाडेटा](https://sapien1.com/research/gdpval-reference-coverage/inspect-dataset-check.py) की तुलना करती हैं और [पिन किए गए लोडर के स्रोत](https://sapien1.com/research/gdpval-reference-coverage/inspect-source-check.py) को चलाए बिना जाँचती हैं. तालिका हैश की जाँच पूरी तालिका को मेमोरी में पढ़ती है, लेकिन उसकी कार्य सामग्री को पार्स या सुरक्षित नहीं करती. स्क्रिप्ट इनपुट फ़ाइलों की सामग्री का अनुरोध नहीं करतीं.

नीचे दिए गए DuckDB सेटअप के बाद, macOS या Linux पर इनसे जाँच चलाएँ:

```
.gdpval-venv/bin/python input-url-revisions.py > input-url-observations.json
.gdpval-venv/bin/python inspect-dataset-check.py
.gdpval-venv/bin/python inspect-source-check.py
```

## हमने कैसे गिना

रेफ़रेंस की उपलब्धता की गणना के लिए हमने GDPval संशोधन `11e7900cdcac61bc4daf59e65feb238acda98fbf` की `train` Parquet तालिका जाँची, 220 अलग-अलग कार्य ID सत्यापित कीं और केवल क्षेत्र, व्यवसाय और हर `deliverable_files` सूची की लंबाई के आधार पर समूह बनाए. [विश्लेषण स्क्रिप्ट](https://sapien1.com/research/gdpval-reference-coverage/analyze.py) स्रोत का हैश जाँचती है और DuckDB 1.4.4 से संख्याएँ दोबारा निकालती है. यह पूरी तालिका अस्थायी रूप से डाउनलोड करती है और सामान्य रन के बाद उसे हटा देती है; इसके आउटपुट में कोई प्रॉम्प्ट, रूब्रिक, अलग-अलग कार्य ID, डिलिवरेबल पाथ या डिलिवरेबल नहीं रखे जाते. कोई मॉडल, बेंचमार्क या रेफ़रेंस रेंडरर नहीं चलाया गया.

macOS या Linux पर Python 3.9 या उसके बाद के संस्करण से स्थानीय रूप से नतीजे दोबारा निकालने के लिए पक्का करें कि `python3` वही संस्करण चुने:

```
python3 -m venv .gdpval-venv
.gdpval-venv/bin/python -m pip install duckdb==1.4.4
.gdpval-venv/bin/python analyze.py > observations.json
```

sapien1 इन स्क्रिप्ट को डाउनलोड करके स्थानीय रूप से चलाने के लिए उपलब्ध कराता है; इन्हें बदलने या फिर से वितरित करने के लिए किसी अतिरिक्त लाइसेंस का उल्लेख नहीं है. स्रोत डेटासेट की शर्तें अलग हैं.

OpenAI 220 कार्यों वाले गोल्ड सबसेट को [ओपन-सोर्स किया गया](https://openai.com/index/gdpval/) बताता है. [पिन किए गए डेटासेट कार्ड](https://huggingface.co/datasets/openai/gdpval/blob/11e7900cdcac61bc4daf59e65feb238acda98fbf/README.md) में बेंचमार्क कैनरी है और कोई लाइसेंस फ़ील्ड नहीं है; कार्ड के लेबल या इस गणना से अनुमान लगाने के बजाय अपने उपयोग पर लागू शर्तें जाँचें. क्षेत्र और व्यवसाय के लेबल तथा बेंचमार्क का श्रेय उनके स्रोत को ही दिया जाता है.
