कई भाषाओं के लिए पठन परीक्षा चुनने के साक्ष्य

इन जाँचों में TyDi QA, XQuAD, MLQA और Belebele के विशिष्ट रिलीज़ में मौजूद सवालों और भाषाओं की तुलना की गई है. आँकड़े गाइड में इस्तेमाल की गई फ़ाइलों के हैं.

TyDi QA की फ़ाइलों में कौन से सवाल समान हैं?

हमने भाषा, लेख के शीर्षक और सवाल के बिल्कुल समान शब्दों के आधार पर डेवलपमेंट फ़ाइलों का मिलान किया. Gold Passage की 5,077 पंक्तियों में से हर एक का मिलान प्राथमिक फ़ाइल की 18,670 पंक्तियों में से एक से हुआ. दोनों फ़ाइलों में मौजूद 9 भाषाओं के लिए, Gold Passage फ़ाइल में प्राथमिक फ़ाइल की 1,285 पंक्तियाँ शामिल नहीं हैं, जिनमें कम से कम एक एनोटेटर ने लिखित जवाब चिह्नित किया था. प्राथमिक डेवलपमेंट फ़ाइल में जापानी और थाई शामिल हैं, जबकि Gold Passage फ़ाइल में इन दोनों भाषाओं की कोई पंक्ति नहीं है.

पूरे लेख की तुलना छोटे इनपुट से करने के लिए, एक ही मॉडल से दो बार लिखित जवाब माँगें. छोटे अंश को लेख से बिल्कुल उसी रूप में कॉपी करें. सेटिंग, सवाल, जवाब का फ़ॉर्मैट, स्वीकार किए गए जवाब और स्कोरिंग का नियम समान रखें. जाँचें कि हर स्वीकार किया गया जवाब दोनों इनपुट में मौजूद है. अगर Gold Passage को उपलब्ध रूप में इस्तेमाल करते हैं, तो अंश और उसके जवाबों की सूची जाँचें. सवालों के आधार पर मिलान से पता चलता है कि फ़ाइलों में कौन से सवाल समान हैं. अंश का टेक्स्ट और स्वीकार किए गए जवाब अलग हो सकते हैं.

लेखकों ने प्राथमिक और Gold Passage, दोनों के मूल्यांकन में कुल औसत से अंग्रेज़ी को बाहर रखा है.

भाषा के अनुसार संख्या (JSON) · तुलना की स्क्रिप्ट (Python) · पिन की गई प्राथमिक डेवलपमेंट फ़ाइल · पिन की गई Gold Passage डेवलपमेंट फ़ाइल · आधिकारिक स्कोरिंग नियम

दोनों स्रोत फ़ाइलों को primary.parquet और gold.parquet के नाम से सहेजें. स्क्रिप्ट और आँकड़ों को उसी डायरेक्टरी में सहेजें, फिर तुलना चलाएँ. स्क्रिप्ट दोनों इनपुट को पढ़ने से पहले उनके डाइजेस्ट की पुष्टि करती है.

uv run --python 3.12 --with pyarrow==26.0.1 python compare-tydi-qa-questions.py primary.parquet gold.parquet > replay.json
cmp replay.json tydi-qa-question-comparison.json

XQuAD के कौन से सवाल SQuAD से लिए गए हैं?

अंग्रेज़ी XQuAD के सभी 1,190 ID का मिलान SQuAD 1.1 की डेवलपमेंट फ़ाइल के सवालों से होता है. उन ID के लिए लेख का शीर्षक, अंश और सवाल का टेक्स्ट बिल्कुल समान हैं. हमने XQuAD के जिस संशोधन की जाँच की, उसकी सभी 12 फ़ाइलों में समान ID हैं. इनमें मूल रिलीज़ के बाद जोड़ी गई रोमानियाई फ़ाइल भी शामिल है.

सवालों की संख्या और मिलान (JSON) · मूल XQuAD शोधपत्र · पिन किया गया XQuAD संशोधन · पिन की गई SQuAD डेवलपमेंट फ़ाइल

MLQA के सवाल की भाषा बदलने पर क्या समान रहता है?

अंग्रेज़ी–वियतनामी की चारों डेवलपमेंट फ़ाइलों में 511 सवालों के ID समान हैं. अंग्रेज़ी अंश को वही रखते हुए सवालों की भाषा अंग्रेज़ी से वियतनामी करने पर सभी 511 सवाल बदले, लेकिन कोई अंश या स्वीकार किए गए जवाबों की सूची नहीं बदली. इस जाँच में हर अंश और स्वीकार किए गए जवाबों की क्रमबद्ध सूची की तुलना की गई है, जिसमें सहेजे गए ऑफ़सेट भी शामिल हैं. दोनों बार स्कोर देने के लिए एक ही अंग्रेज़ी जवाबों का इस्तेमाल करें.

फ़ाइल तुलना के आँकड़े (JSON) · आधिकारिक MLQA डाउनलोड · मूल MLQA शोधपत्र

चार फ़ाइल समूहों में कौन सी भाषाएँ हैं?

हमने TyDi QA की प्राथमिक और Gold Passage डेवलपमेंट फ़ाइलों, पिन की गई XQuAD रिलीज़ और MLQA की उन डेवलपमेंट फ़ाइलों की जाँच की जिनमें सवाल और अंश की भाषा समान है. अरबी और अंग्रेज़ी ही ऐसी भाषाएँ हैं जो चारों समूहों में हैं. थाई, TyDi QA की प्राथमिक फ़ाइल और XQuAD में है, लेकिन Gold Passage में नहीं है.

फ़ाइल समूह के अनुसार भाषा कोड (JSON)

थाई बहुविकल्पीय परीक्षा कहाँ है?

Belebele में थाई भाषा की एक फ़ाइल है जिसका नाम tha_Thai.jsonl है. इसका इस्तेमाल ऐसे सवालों के लिए करें जिनमें मॉडल को अंश पढ़ने के बाद चार जवाबों में से एक चुनना होता है.

लेखकों की पिन की गई थाई फ़ाइल · मूल Belebele शोधपत्र · भाषाओं में बहुविकल्पीय पठन परीक्षा के स्कोर की तुलना कैसे करें