# अलग-अलग भाषाओं की पठन परीक्षाओं में बहुविकल्पीय सवालों के अंकों की तुलना कैसे करें

हर भाषा में एक जैसे सवाल रखें और उन्हीं नियमों से अंक दें। देखें कि कहीं विकल्पों के शब्द एक जैसे तो नहीं हैं या मॉडल ने कोई पाठ पहले तो नहीं देखा है। बहुभाषी पठन परीक्षा Belebele में हमने हर फ़ाइल से सही बताए गए विकल्पों के नंबर उतारे और उन्हें अंग्रेज़ी के सवालों के क्रम में रखा। फ़ाइल की पंक्ति के हिसाब से मिलाने पर 73.55% अंक मिले। सवाल की आईडी से मिलाने पर 100% मिले। [Belebele में दोबारा अंक देकर जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## हर जवाब को उसके सवाल से मिलाएँ

हर जवाब के साथ भाषा, सवाल की आईडी और चुने गए विकल्प का नंबर या अक्षर दर्ज करें। Belebele की 122 फ़ाइलों में सवालों की वही 900 आईडी हैं, लेकिन 52 फ़ाइलों का क्रम अंग्रेज़ी से अलग है। पंक्ति के नंबर से मिलाने पर 9,838 जवाब गलत सवालों से जुड़ गए, फिर भी विकल्प का नंबर संयोग से सही होने के कारण उन्हें अंक मिले। [सवालों के क्रम की जाँच](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#match-answers-to-questions)

## देखें कि दो विकल्पों के शब्द हूबहू एक जैसे तो नहीं हैं

मान लें कि B और D, दोनों में `12` लिखा है और फ़ाइल में B को सही बताया गया है। जवाब में `12` लिखा हो तो आपको विकल्प में लिखा जवाब पता चलता है। विकल्प की जगह के हिसाब से अंक देने के लिए उसका अक्षर चाहिए। Belebele में 148 पंक्तियों में सही विकल्प में लिखी बात किसी दूसरे विकल्प में भी है। हमने उन जवाबों की हूबहू नकल की। पहला मेल खाने वाला विकल्प चुनने पर 16 अंक और आखिरी मेल खाने वाला विकल्प चुनने पर 133 अंक कम मिले। पहले तय करें कि अंक विकल्प के नंबर या अक्षर से देंगे या उसमें लिखे जवाब से। फिर एक ही नियम से सभी विकल्प जाँचें। [एक जैसे शब्दों वाले विकल्प](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#check-for-repeated-answer-text)

## उन्हीं सवालों पर मिले अंकों की तुलना करें

अगर आप एक जैसे विकल्प वाली 148 पंक्तियाँ सिर्फ़ उन्हीं फ़ाइलों से हटाते हैं जिनमें वे हैं, तो हर भाषा में 894 से 899 सवाल बचेंगे। सभी भाषाओं की तुलना ठीक उन्हीं सवालों पर करनी हो, तो हर फ़ाइल से असर वाले सभी 23 सवालों की आईडी हटा दें। तब 877 सवाल सबमें समान होंगे। बताएँ कि शुरू में कितने सवाल थे और आपने कितनों के अंक गिने। [सवाल हटाने के तरीकों की तुलना](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#keep-the-same-questions)

## देखें कि मॉडल ने कौन-से पाठ पहले पढ़े हो सकते हैं

अगर मॉडल को बेहतर बनाने के लिए आपने FLORES-200 का विकास सेट इस्तेमाल किया था, तो देखें कि वही पाठ Belebele में भी हैं या नहीं। अंग्रेज़ी फ़ाइल में 513 सवाल विकास सेट में इस्तेमाल हुए वेब पेजों से जुड़े हैं। उनमें से 417 सवालों के लिए FLORES के वाक्यों को जोड़ने पर ठीक वही पाठ बनता है जो Belebele में है। दोनों डेटा सेट में मौजूद अन्य भाषाओं और लिपियों की 116 फ़ाइलों में हूबहू मिलने वाले पाठों की संख्या अलग-अलग है। जिस भाषा की परीक्षा ले रहे हैं, उसी भाषा का पाठ जाँचें। [अंग्रेज़ी पाठ का दोबारा इस्तेमाल](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from) · [अनूदित पाठ का दोबारा इस्तेमाल](https://sapien1.com/hi/research/reading-benchmark-evidence/evidence.html#check-where-passages-came-from)
