शोध
डिलीवरी स्वीकार करने से पहले ट्रांसक्रिप्ट का स्कोर कैसे जाँचें
क्लिप की सूची, स्कोर निकालने के लिए संदर्भ पाठ, दिए गए ट्रांसक्रिप्ट और स्कोरिंग की सेटिंग माँगें। शब्द त्रुटि दर बताती है कि संदर्भ पाठ के हर 100 शब्दों पर कितने शब्द बदले गए, छूट गए या अतिरिक्त जुड़ गए। कम दर में भी काम के लिए महत्वपूर्ण गलतियाँ छिपी हो सकती हैं, जैसे ऋण चिह्न का छूटना या रिकॉर्डिंग के गलत हिस्से में कोई शब्द आ जाना। डिलीवरी स्वीकार करने से पहले ये बातें जाँचें। शब्द त्रुटि दर कैसे निकालें
जाँचें कि शब्द रिकॉर्डिंग के सही हिस्से में हैं
मान लें कि संदर्भ पाठ के दो हिस्से turn left और then stop हैं। दिए गए ट्रांसक्रिप्ट में ये turn left then और stop हैं। दोनों हिस्सों को जोड़ने पर चारों शब्द सही क्रम में हैं, इसलिए शब्द त्रुटि दर 0% है। अलग-अलग स्कोर निकालने पर यह 50% है, क्योंकि then पहले हिस्से में जुड़ गया और दूसरे में नहीं है। अगर हिस्सों की सीमाएँ काम के लिए महत्वपूर्ण हैं, तो हर हिस्से का अलग स्कोर निकालें। अलग-अलग हिस्सों का उदाहरण
जाँच में मौन क्लिप भी रखें
बोलचाल वाली दो क्लिप के एक काल्पनिक परीक्षण में सिस्टम A की शब्द त्रुटि दर 0% और सिस्टम B की 12.5% थी। हमने एक ऐसी क्लिप जोड़ी जिसमें मौन की पुष्टि हो चुकी थी। सिस्टम A ने उसमें दो शब्द लिख दिए और उसकी दर बढ़कर 25% हो गई। सिस्टम B की दर 12.5% रही। अगर डिलीवरी में मौन हिस्से हैं, तो बताएँ कि कितनी सत्यापित मौन क्लिप में अनचाहा पाठ आया। जिन क्लिप का संदर्भ पाठ मौजूद नहीं है, उन्हें अलग से चिह्नित करें ताकि वे मौन क्लिप में न गिनी जाएँ। मौन क्लिप का उदाहरण
मूल पाठ में संख्याएँ पढ़ें
एक परीक्षण में स्कोरिंग नियमों ने offset -5 meters और offset 5 meters को एक जैसा माना। offset 1.5 meters और offset 15 meters को भी एक जैसा माना गया। Whisper के एक अलग परीक्षण में पहली बार पाठ का मानकीकरण करने पर “negative one point five” का ऋण चिह्न बना रहा। दूसरी बार मानकीकरण करने पर वह चिह्न हट गया और उसी बिना चिह्न वाले जवाब की शब्द त्रुटि दर 33.3% से घटकर 0% हो गई। अगर संख्याएँ महत्वपूर्ण हैं, तो उन्हें मूल पाठ में देखें और दर्ज करें कि हर पाठ का कितनी बार मानकीकरण किया गया। विराम चिह्नों का परीक्षण · Whisper परीक्षण
नियम बदलें तो उन्हीं क्लिप के स्कोर फिर निकालें
हमने दो ARK-ASR मॉडल के सहेजे गए ट्रांसक्रिप्ट का आकलन उन्हीं 18,760 GigaSpeech क्लिप पर किया। मूल संदर्भ पाठ इस्तेमाल करने पर Open ASR की स्कोरिंग में बदलाव से बड़े मॉडल की शब्द त्रुटि दर 6.93% से 15.11% हो गई और छोटे मॉडल की दर 7.39% से 15.50% हो गई। नए नियमों ने <COMMA> जैसे विराम चिह्नों के संकेतों को शब्द माना। उन्हीं क्लिप के लिए साफ़ किए गए संदर्भ पाठ का इस्तेमाल करने पर, दो दशमलव स्थानों तक गोल करने पर दरें बड़े और छोटे मॉडल के लिए क्रमशः 6.93% और 7.39% थीं। ये दरें पुराने और नए दोनों नियमों में समान थीं। स्कोर की तुलना
स्कोरिंग नियम बदलने पर उन्हीं क्लिप और संदर्भ पाठ से दोनों स्कोर फिर निकालें। एक अलग काल्पनिक उदाहरण में अपडेट किए गए प्रोग्राम ने सहेजी गई फ़ाइल से पुराना स्कोर लौटाया, जब तक हमने साफ़ तौर पर नए सिरे से गणना करने को नहीं कहा। नतीजों की तुलना से पहले पुष्टि करें कि प्रोग्राम ने सच में फिर से स्कोर निकाला है। सहेजे गए स्कोर का परीक्षण
नतीजे करीब हों तो देखें कि एक रिकॉर्डिंग का कितना असर है
कुछ रिकॉर्डिंग से कई क्लिप मिलती हैं। GigaSpeech परीक्षण में हमने हर बार एक पूरी रिकॉर्डिंग हटाई और बची हुई क्लिप पर दोनों मॉडल की तुलना की। साफ़ किए गए संदर्भ पाठ और नए नियमों के साथ, सभी 131 रिकॉर्डिंग पर बड़े मॉडल की शब्द त्रुटि दर 0.46 प्रतिशत अंक कम थी। एक रिकॉर्डिंग हटाने पर यह अंतर 0.43 से 0.48 प्रतिशत अंक रहा। इस जाँच से पता चलता है कि करीबी नतीजों में कोई एक रिकॉर्डिंग फ़ैसला करती है या नहीं। रिकॉर्डिंग के आधार पर परीक्षण