शोध
कई भाषाओं के लिए पठन परीक्षा कैसे चुनें
ऐसी परीक्षा चुनें जिसमें मॉडल वही काम करे जिसकी लोगों को ज़रूरत है। सही अंश ढूँढना, दिए गए अंश से जवाब देना और दूसरी भाषा का सवाल समझना अलग-अलग काम हैं। इन्हें अलग से परखें, ताकि पता चले कि किस कदम को और ध्यान से देखना है।
| आप क्या परखना चाहते हैं? | कहाँ से शुरू करें? | मॉडल क्या करता है? |
|---|---|---|
| क्या वह लेख का सही हिस्सा ढूँढ सकता है? | TyDiQA-SelectP | एक लेख से अंश चुनता है या बताता है कि किसी अंश में जवाब नहीं है। |
| क्या वह जवाब वाले शब्द ढूँढ सकता है? | TyDiQA-GoldP | जिस अंश में जवाब है, उसमें से जवाब के शब्द निकालता है। |
| क्या वह अलग-अलग भाषाओं में उन्हीं सवालों के जवाब देता है? | XQuAD या Belebele | XQuAD में अनूदित अंशों से जवाब देता है या Belebele में चार में से एक जवाब चुनता है। |
| क्या सवाल और अंश अलग-अलग भाषाओं में हों तो भी जवाब दे सकता है? | MLQA | दूसरी भाषा में लिखे अंश में जवाब ढूँढता है। |
जाँचें कि मॉडल जवाब ढूँढ पाता है या नहीं
मॉडल को लेख में सही अंश ढूँढना हो तो TyDiQA-SelectP इस्तेमाल करें। अगर उसे छोटा जवाब देना हो, हाँ या नहीं कहना हो, या बताना हो कि लेख में जवाब नहीं है, तो TyDiQA-MinSpan इस्तेमाल करें। TyDi QA के सवाल लोगों ने सीधे हर भाषा में लिखे थे। TyDi QA के कामों का विवरण
यह देखने के लिए कि छोटा अंश कितनी मदद करता है, उसी मॉडल से दो बार लिखकर जवाब देने को कहें। एक बार पूरा लेख दें और दूसरी बार उसी लेख से हूबहू लिया गया अंश दें। सेटिंग, सवाल, जवाब का प्रारूप, सही माने जाने वाले जवाब और अंक देने का नियम वही रखें। जाँचें कि हर स्वीकार्य जवाब दोनों पाठों में है। अगर Gold Passage की कोई प्रविष्टि जैसी है वैसी इस्तेमाल करें, तो उसके अंश और जवाबों की सूची जाँचें। फ़ाइलों में सवाल एक ही हो सकता है, भले अंश या स्वीकार्य जवाब अलग हों। TyDi QA की डेवलपमेंट फ़ाइलें यह तुलना तैयार करने में मदद कर सकती हैं। Gold Passage के सभी 5,077 सवाल 18,670 सवालों वाले मुख्य सेट में भी हैं। Gold Passage में जापानी और थाई नहीं हैं। दोनों सेट में मौजूद नौ भाषाओं में भी ऐसे 1,285 सवाल छोड़ दिए गए हैं जिनके लिखित जवाब चिह्नित थे। सवालों का मिलान भाषा, लेख के शीर्षक और सवाल के हूबहू लिखे पाठ के आधार पर करें। सिर्फ़ वे जोड़े लें जिनका एक ही मिलान हो। TyDi QA के सवालों की तुलना
भाषाओं की तुलना उन्हीं सवालों पर करें
XQuAD मॉडल को उन्हीं सवालों और अंशों के अनुवाद देता है। अंग्रेज़ी के 1,190 सवाल SQuAD 1.1 के डेवलपमेंट सेट से लिए गए हैं। हमने जिन अनूदित फ़ाइलों की जाँच की उनमें सवालों की वही आईडी हैं। अगर आपने SQuAD के डेवलपमेंट सेट से मॉडल को बेहतर बनाया है, तो XQuAD को नए सवालों की परीक्षा मानने से पहले देखें कि कौन-से सवाल दोनों में हैं। XQuAD का मूल शोधपत्र · दोबारा इस्तेमाल किए गए सवालों की जाँच
मॉडल से चार में से एक जवाब चुनवाने के लिए Belebele इस्तेमाल करें। भाषाओं और लिपियों की इसकी 122 फ़ाइलों में सवालों की वही 900 आईडी हैं। चुने गए विकल्प का नंबर या अक्षर सहेजें। दो विकल्पों में वही शब्द हो सकते हैं। सिर्फ़ शब्दों से पता नहीं चलेगा कि मॉडल ने कौन-सा विकल्प चुना। ऐसे सवाल हटाएँ तो तुलना की हर भाषा में बाकी की वही आईडी इस्तेमाल करें। भाषाओं के बीच पठन परीक्षा के अंकों की तुलना
सवाल की भाषा बदलें, अंश वही रखें
अगर, मिसाल के लिए, वियतनामी बोलने वाला व्यक्ति किसी अंग्रेज़ी दस्तावेज़ पर सवाल पूछ सकता है, तो MLQA इस्तेमाल करें। हमने अंग्रेज़ी और वियतनामी की जिन डेवलपमेंट फ़ाइलों की जाँच की, उनमें 511 साझा सवाल हैं। इन्हें किसी भी एक भाषा में पूछ सकते हैं और अंग्रेज़ी का अंश और स्वीकार्य जवाब हूबहू वही रहेंगे। दोनों दौर में उन्हीं अंग्रेज़ी जवाबों के आधार पर अंक दें। इससे पता चलेगा कि सवाल की भाषा बदलने पर क्या बदला। MLQA का मूल शोधपत्र · अंग्रेज़ी और वियतनामी फ़ाइलों की तुलना
अंश से कितनी मदद मिलती है, यह अलग से जानने के लिए वही सवाल एक बार अंश के साथ और एक बार उसके बिना पूछें। मॉडल पाठ का इस्तेमाल करता है या नहीं
देखें कि परीक्षा में आपकी ज़रूरत की भाषा है
थाई के लिए सही अंश ढूँढने की जाँच TyDiQA-SelectP से करें। दिए गए अंश में जवाब के शब्द ढूँढने के लिए XQuAD या सही विकल्प चुनने के लिए Belebele इस्तेमाल करें। TyDiQA-GoldP की डेवलपमेंट फ़ाइल में थाई सवाल नहीं हैं। हमने जिन चार फ़ाइल समूहों की तुलना की, उनमें सिर्फ़ अरबी और अंग्रेज़ी चारों में हैं। ये समूह हैं मुख्य TyDi QA, TyDi QA Gold Passage, XQuAD और MLQA की वे डेवलपमेंट फ़ाइलें जिनमें सवाल और अंश की भाषा एक है। उपलब्ध भाषाओं की जाँच · Belebele की भाषा फ़ाइलें
अंक बताते समय काम का नाम, भाषाएँ और हर अंक में शामिल सवालों की संख्या दें। मिसाल के लिए, TyDi QA की दोनों आधिकारिक अंक प्रणालियाँ अंग्रेज़ी को कुल औसत से बाहर रखती हैं, भले फ़ाइलों में अंग्रेज़ी मौजूद हो। TyDi QA के अंक देने के नियम