# पठन बेंचमार्क गाइड के प्रमाण

इन जाँचों में मूल Belebele और FLORES-200 आर्काइव तथा सार्वजनिक MLQA डेवलपमेंट फ़ाइलों का उपयोग किया गया है. Belebele में हर सवाल के लिए चार जवाब विकल्प हैं. मूल ZIP में भाषा और लिपि की 122 फ़ाइलों में 900 समान सवाल ID हैं. इन फ़ाइलों में हर ID एक स्रोत URL को एक सवाल नंबर से जोड़ती है. [Belebele शोधपत्र](https://aclanthology.org/2024.acl-long.44/) · [Belebele डाउनलोड और फ़ॉर्मैट](https://github.com/facebookresearch/belebele/blob/918890beb2290a8d3ef2d7a90369925959e1bacf/README.md)

## हर जवाब को उसके सवाल से मिलाएँ

हमने हर Belebele फ़ाइल से चिह्नित जवाबों के नंबर कॉपी किए और उन्हें अंग्रेज़ी के सवालों के क्रम में रखा. 52 फ़ाइलों में सवालों का क्रम अंग्रेज़ी से अलग है. कॉपी किए गए जवाबों को हर फ़ाइल में पंक्ति नंबर से मिलाने पर 73.55% अंक मिले. सवाल ID से मिलाने पर 109,800 पंक्तियों में 100% अंक मिले. पंक्ति नंबर से मिलाने पर 38,876 जवाब दूसरे सवाल से जुड़ गए. इनमें से 9,838 को फिर भी अंक मिले क्योंकि जवाबों के नंबर मेल खाते थे.

## देखें कि दो विकल्पों के शब्द हूबहू एक जैसे तो नहीं हैं

148 पंक्तियों में, किसी दूसरे विकल्प का टेक्स्ट चिह्नित उत्तर के टेक्स्ट से बिल्कुल समान है। हमने हर पंक्ति से चिह्नित उत्तर का टेक्स्ट कॉपी किया। उस टेक्स्ट वाले पहले विकल्प को उत्तर मानने पर 16 क्रेडिट कम मिले। आखिरी विकल्प को उत्तर मानने पर 133 क्रेडिट कम मिले। यह जाँच टेक्स्ट की तुलना ठीक उसी रूप में करती है जिस रूप में वह मूल ZIP में संग्रहीत है।

## उन्हीं सवालों पर मिले अंकों की तुलना करें

प्रभावित 148 पंक्तियों को केवल उन फ़ाइलों से हटाने पर जिनमें वे मौजूद हैं, हर फ़ाइल में 894 से 899 सवाल बचते हैं. प्रभावित पंक्तियों में 23 अलग-अलग सवाल ID हैं. सभी 23 ID को हर फ़ाइल से हटाने पर हर फ़ाइल में वही 877 सवाल बचते हैं.

## देखें कि पाठ कहाँ से आए हैं

अंग्रेज़ी फ़ाइल में 513 सवाल मूल FLORES-200 डेवलपमेंट स्प्लिट के पेजों से जुड़े हैं. इनमें से 417 सवालों के लिए मूल FLORES वाक्यों को क्रम से जोड़ने पर Belebele का पाठ हूबहू मिलता है. दोनों आर्काइव में साझा अन्य 116 भाषा और लिपि फ़ाइलों में हूबहू मेल की संख्या अलग-अलग है.

हमने अंग्रेज़ी समेत साझा 117 भाषा और लिपि फ़ाइलों में FLORES-200 `devtest` URL से जुड़ी Belebele की 45,279 पंक्तियाँ भी जाँचीं. 9 अलग-अलग सवाल ID में से हर एक का पाठ कम से कम एक फ़ाइल में पूरा डेवलपमेंट वाक्य शामिल करता था. इस जाँच में स्रोत आर्काइव के URL और पाठ का हूबहू मिलान किया गया है. [FLORES-200 दस्तावेज़](https://github.com/facebookresearch/flores/blob/a6c830c6e1051fb4ac1a44b32358f00463f332bd/flores200/README.md) · [मूल FLORES-200 आर्काइव](https://dl.fbaipublicfiles.com/nllb/flores200_dataset.tar.gz)

## सबसे छोटा जवाब चुनने के नियम को जाँचें

पूरी Belebele परीक्षा में हमेशा सबसे छोटा जवाब चुनने पर 27.03% अंक मिले. इस नियम में समतुल्य Unicode वर्णों और खाली जगहों को मानकीकृत करने के बाद वर्णों की गिनती की जाती है. अगर कई विकल्प सबसे छोटे हों, तो एक अंक उनके बीच बराबर बाँटा जाता है और केवल चिह्नित जवाब का हिस्सा गिना जाता है. चार विकल्पों में से एक को समान संभावना से चुनने पर अपेक्षित अंक 25% हैं. Belebele के मूल लेखकों ने सुराग जाँचने के लिए मिलते-जुलते शब्दों और जवाब की लंबाई का उपयोग किया. उन्होंने ऐसे मॉडल का 900 सवालों पर 28% परिणाम भी बताया जो शब्दों का उपयोग करता था, लेकिन उनके क्रम का नहीं. [Belebele शोधपत्र, खंड 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [परिशिष्ट A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

## पाठ के साथ मिले अंकों की तुलना करें

हमने अंग्रेज़ी और वियतनामी में वही 900 सवाल ID इस्तेमाल कीं. यह नियम वह जवाब विकल्प चुनता है जिसके अलग-अलग शब्दों का सबसे बड़ा हिस्सा सवाल या दिए गए पाठ में दिखाई देता है. पाठ न होने पर यह केवल सवाल का उपयोग करता है. बराबरी पर रहने वाले विकल्पों में एक अंक बराबर बाँटा जाता है. हर प्रतिस्थापन जाँच में किसी दूसरे पेज का पाठ लिया जाता है और दोनों भाषाओं में प्रतिस्थापन के लिए वही स्रोत पेज इस्तेमाल होता है.

| भाषा | पाठ के बिना | पहला प्रतिस्थापन | निर्धारित पाठ | 16 प्रतिस्थापनों में अंकों की सीमा |
| --- | ---: | ---: | ---: | ---: |
| अंग्रेज़ी | 24.60% | 26.38% | 28.72% | 24.60% से 27.89% |
| वियतनामी | 25.98% | 24.80% | 27.17% | 23.58% से 27.84% |

निर्धारित पाठ के साथ अंग्रेज़ी में सभी 16 प्रतिस्थापनों से और वियतनामी में 15 प्रतिस्थापनों से अधिक अंक मिले. पाठ न देने की तुलना में निर्धारित पाठ देने पर अंग्रेज़ी में 311 और वियतनामी में 313 सवालों के अंक बढ़े. अंग्रेज़ी में 218 और वियतनामी में 234 सवालों के अंक घटे. [शब्द मिलान का कोड](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [कुल परिणाम](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

## सवाल की भाषा बदलें

अंग्रेज़ी और वियतनामी MLQA डेवलपमेंट फ़ाइलों में 511 सवाल ID, सवाल और पाठ की भाषा के चारों संयोजनों में मौजूद हैं. इन ID के लिए अंग्रेज़ी पाठ को वही रखते हुए सवाल की भाषा अंग्रेज़ी से वियतनामी में बदलने पर पाठ और स्वीकृत जवाबों की सूची हूबहू वही रहती है. इस व्यवस्था में तुलना करने पर दोनों जाँचों को उन्हीं अंग्रेज़ी जवाबों के आधार पर अंक दिए जाते हैं. [MLQA शोधपत्र](https://aclanthology.org/2020.acl-main.653/) · [MLQA फ़ाइल संरचना](https://github.com/facebookresearch/MLQA/blob/24bf470b2e68f2bfb93b2fd31c370bb8ee18d9ed/README.md#data-download)

## शब्द मिलान की जाँच दोहराएँ

[मूल Belebele ZIP](https://dl.fbaipublicfiles.com/belebele/Belebele.zip), [शब्द मिलान स्क्रिप्ट](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py), उसकी [सहायक Python स्क्रिप्ट](https://sapien1.com/research/reading-benchmark-evidence/check.py) और [सहेजे गए कुल परिणाम](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json) डाउनलोड करें. इन्हें एक ही फ़ोल्डर में रखें. स्क्रिप्ट आर्काइव का हैश सत्यापित करती है और अंग्रेज़ी तथा वियतनामी फ़ाइलें पढ़ती है. यह अंक क्रेडिट इकाइयों में दिखाती है, जहाँ 12 इकाइयाँ एक सही जवाब के बराबर हैं. तुलना दोहराने के लिए Python 3.12 का उपयोग करें.

```bash
set -e -o pipefail
python3.12 -B check-passage-word-matches.py Belebele.zip | cmp - passage-word-matches.json
```
