# कैसे जाँचें कि मॉडल जवाब देने के लिए पाठ का इस्तेमाल करता है

मॉडल से वही सवाल दो बार पूछें। एक बार पाठ दें और एक बार पाठ न दें। सवाल, विकल्प और अंक देने के नियम वही रखें। दोनों बार के अंक मिलाकर देखें कि दिए गए पाठ से उन सवालों में कितनी मदद मिली। बहुविकल्पीय परीक्षा में एक बार सिर्फ़ विकल्प देकर भी देखें। पूरी Belebele परीक्षा में हमेशा सबसे छोटा विकल्प चुनने के नियम को 27.03% अंक मिले। हर विकल्प को बराबर संभावना से चुनने पर औसतन 25% अंक मिलने की उम्मीद है। [Belebele में जवाब की लंबाई की जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#check-the-shortest-answer-rule)

## मॉडल को दी जाने वाली जानकारी में एक बार में एक बदलाव करें

| मॉडल क्या देखता है | किसकी तुलना करें |
| --- | --- |
| पाठ, सवाल और विकल्प | सब कुछ देने पर मॉडल कितनी बार सही जवाब देता है |
| सवाल और विकल्प | पाठ न देने पर कितनी बार सही जवाब देता है |
| सिर्फ़ विकल्प | सिर्फ़ विकल्प देखकर कितनी बार सही जवाब देता है |

हर बार वही मॉडल और उसकी वही सेटिंग इस्तेमाल करें। गिनें कि पाठ देने से कितने गलत जवाब सही हुए और कितने सही जवाब गलत हुए। जब दोनों बार अलग-अलग सवालों के जवाब सही हों, तो इन दो गिनतियों से पता चलता है कि कुल अंक क्यों कम बदले। अगर मॉडल को अपना जवाब लिखना है, तो पहली दो बार विकल्प न दें और उन्हीं जवाबों को सही मानें।

## देखें किन सवालों के जवाब गलत से सही या सही से गलत हुए

मान लें कि दोनों बार मॉडल ने 100 में से 70 सवाल सही किए। आईडी से जवाब मिलाने पर पता चला कि 62 सवाल दोनों बार सही और 22 सवाल दोनों बार गलत थे। पाठ जोड़ने से आठ गलत जवाब सही हुए और आठ सही जवाब गलत हो गए। कुल अंक 70% ही रहे, लेकिन आप 16 सवालों में देख सकते हैं कि पाठ से कहाँ मदद मिली और कहाँ नुकसान हुआ।

## एक जैसे शब्द देखकर जवाब चुनने की कोशिश करें

Belebele के लेखकों ने जाँचा कि एक जैसे शब्दों और जवाब की लंबाई से कोई सुराग मिलता है या नहीं। उन्होंने यह भी बताया कि एक मॉडल को 900 सवालों पर 28% अंक मिले। वह सिर्फ़ यह देखता था कि कौन से शब्द मौजूद थे, चाहे उनका क्रम कुछ भी हो। [Belebele शोधपत्र, खंड 3.2](https://aclanthology.org/2024.acl-long.44.pdf#page=4) · [परिशिष्ट A.6](https://aclanthology.org/2024.acl-long.44.pdf#page=20)

हमने अंग्रेज़ी और वियतनामी में Belebele के उन्हीं 900 सवालों पर एक जैसे शब्द ढूँढने का तय नियम इस्तेमाल किया। हमने बिना पाठ के, सवाल के साथ दिया जाने वाला मूल पाठ देकर और किसी दूसरे वेब पेज का पाठ देकर जाँच की। हर विकल्प में एक शब्द कई बार आए तो उसे एक बार ही गिनें। फिर देखें कि उन शब्दों का कितना हिस्सा सवाल या दिए गए पाठ में भी है। पाठ न हो तो सिर्फ़ सवाल देखें। नियम सबसे ज़्यादा अनुपात वाला विकल्प चुनता है। कई विकल्प सबसे ऊपर बराबर हों तो उनके बीच एक अंक बराबर बाँटते हैं और सिर्फ़ सही बताए गए विकल्प का हिस्सा गिनते हैं। हर सवाल के लिए अंग्रेज़ी और वियतनामी के वैकल्पिक पाठ एक ही दूसरे वेब पेज से लिए गए, अपनी-अपनी भाषा में। [कोड](https://sapien1.com/research/reading-benchmark-evidence/check-passage-word-matches.py) · [परिणाम](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

| भाषा | बिना पाठ | दूसरे वेब पेज का पाठ | सवाल का मूल पाठ |
| --- | ---: | ---: | ---: |
| अंग्रेज़ी | 24.60% | 26.38% | 28.72% |
| वियतनामी | 25.98% | 24.80% | 27.17% |

पहली तुलना में दोनों भाषाओं में सवाल का मूल पाठ देने पर सबसे ज़्यादा अंक मिले। फिर हमने पाठ बदलने के 15 और तरीके आज़माए। सभी 16 बदलावों में अंग्रेज़ी में 24.60% से 27.89% और वियतनामी में 23.58% से 27.84% तक अंक मिले। मूल पाठ के अंक अंग्रेज़ी में सभी 16 बदलावों से और वियतनामी में 15 बदलावों से ज़्यादा थे। कुछ अलग-अलग पाठ आज़माएँ, ताकि निष्कर्ष किसी एक वेब पेज के चुनाव पर कम निर्भर हो। [पाठ बदलने के सभी परिणाम](https://sapien1.com/research/reading-benchmark-evidence/passage-word-matches.json)

बिना पाठ वाली जाँच की तुलना में मूल पाठ देने पर अंग्रेज़ी के 311 और वियतनामी के 313 सवालों में ज़्यादा अंक मिले। अंग्रेज़ी के 218 और वियतनामी के 234 सवालों में कम अंक मिले। अगर आप इस नियम की तुलना किसी मॉडल से करें, तो दोनों को उन्हीं सवालों पर अंक दें।

## सवाल और अंक देने के नियम वही रखें

हर जवाब के साथ सवाल की आईडी दर्ज करें। Belebele की 122 फ़ाइलों में सवालों की वही 900 आईडी हैं, लेकिन 52 फ़ाइलों का क्रम अंग्रेज़ी से अलग है। अगर एक जैसे विकल्प वाले सवाल हटाएँ, तो जिन जाँचों की तुलना कर रहे हैं, उन सभी से उन्हीं सवालों की आईडी हटाएँ। विकल्प का अक्षर भी रखें, ताकि अंक देते समय एक ही बात लिखने वाले दो विकल्पों की पहचान हो सके। [सवालों के क्रम की दोबारा जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions) · [सवाल हटाने की जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## जाँचें कि मॉडल ने पहले क्या देखा हो सकता है

पाठ के बिना सही जवाब मॉडल की पहले की जानकारी से, सवाल या विकल्प में मिले सुराग से या तुक्के से आ सकता है। अगर मॉडल को बेहतर बनाने के लिए FLORES-200 का विकास सेट इस्तेमाल किया था और अब Belebele पर उसकी परीक्षा लेना चाहते हैं, तो विकास सेट के वेब पतों वाले सवाल हटा सकते हैं। पाठ भी जाँचें। मूल फ़ाइलों में दूसरे वेब पतों से जुड़े नौ सवालों में भी विकास सेट का कोई वाक्य मिला। हर बार वह जाँची गई कम से कम एक भाषा या लिपि में था। [Belebele के पाठ की जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)

## सवाल की भाषा बदलें, पाठ वही रखें

अगर जानना हो कि दूसरी भाषा में सवाल करने से नतीजा बदलता है या नहीं, तो उसकी अलग से तुलना करें। हमने अंग्रेज़ी और वियतनामी की जिन MLQA फ़ाइलों की जाँच की, उनमें 511 सवालों की आईडी पर सवाल की भाषा बदली जा सकती है, जबकि अंग्रेज़ी का पाठ और सही माने जाने वाले जवाब हूबहू वही रहते हैं। दोनों बार उन्हीं अंग्रेज़ी जवाबों से अंक दें। [MLQA में मेल खाने वाले सवाल](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#change-the-question-language)
