लेख पढ़ें · साक्ष्य डाउनलोड करें (Markdown)
ट्रांसक्रिप्ट स्कोर की जाँच के साक्ष्य
नीचे दिए गए उदाहरणों में काल्पनिक पाठ या सार्वजनिक बेंचमार्क सबमिशन के समेकित नतीजों का उपयोग किया गया है. शब्द त्रुटि दर (WER) निकालने के लिए जोड़े गए, हटाए गए और बदले गए शब्दों की कुल संख्या को संदर्भ के शब्दों की संख्या से भाग दिया जाता है. नतीजे को प्रतिशत में दिखाने के लिए उसे 100 से गुणा करें. JiWER स्कोरिंग और अलाइनमेंट
हिस्सों का उदाहरण
संदर्भ के हिस्से turn left और then stop हैं. डिलीवर किए गए हिस्से turn left then और stop हैं. अलग-अलग हिस्सों की तुलना में स्कोरर then के लिए एक शब्द जुड़ने और एक शब्द हटने की त्रुटि गिनता है. यानी संदर्भ के चार शब्दों पर दो त्रुटियाँ, या 50%. हिस्सों को जोड़ने पर दोनों तरफ़ turn left then stop मिलता है और चार शब्दों पर कोई त्रुटि नहीं होती. यह तुलना दिए गए हिस्सों के पाठ की है. रिकॉर्डिंग में शब्द कब बोले गए हैं, यह जाँचने के लिए ऑडियो और टाइमस्टैम्प देखने होंगे. JiWER अलाइनमेंट
मौन क्लिप का उदाहरण
ये काल्पनिक क्लिप की संयुक्त दरें हैं. बोलचाल वाली दो क्लिप में संदर्भ के कुल आठ शब्द हैं. तीसरी क्लिप की जाँच में मौन की पुष्टि हुई है और उसमें संदर्भ का कोई शब्द नहीं है.
| स्कोर की गई क्लिप | सिस्टम A की शब्द त्रुटियाँ | सिस्टम B की शब्द त्रुटियाँ | संदर्भ के शब्द | A की WER | B की WER |
|---|---|---|---|---|---|
| बोलचाल वाली दो क्लिप | 0 | 1 | 8 | 0% | 12.5% |
| बोलचाल वाली दो क्लिप और एक मौन क्लिप | 2 | 1 | 8 | 25% | 12.5% |
A ने मौन क्लिप पर दो शब्द दिए. B ने उसे खाली छोड़ा. जिन क्लिप की जाँच में मौन की पुष्टि हुई है लेकिन जिनमें अनचाहे शब्द मिले हैं, उन्हें संयुक्त शब्द त्रुटि दर से अलग रिपोर्ट करें. जिन क्लिप का संदर्भ पाठ गायब है, उन्हें अलग स्थिति दें. JiWER 4 में खाली संदर्भ के नियम
विराम चिह्न की जाँच
JiWER 4.0.0 को काल्पनिक पाठ के दो जोड़ों पर चलाया गया. वैकल्पिक विराम चिह्न हटाने का नियम दोनों पक्षों पर लागू किया गया. offset -5 meters और offset 5 meters एक जैसे हो जाते हैं. यही offset 1.5 meters और offset 15 meters के साथ होता है. इस बदलाव के बाद दोनों तुलनाओं में WER 0% है. दोनों जोड़ियों में मूल संख्यात्मक फ़ील्ड अलग हैं. JiWER में विराम चिह्न हटाना
Whisper की जाँच
एक अलग काल्पनिक उदाहरण में, Whisper का पिन किया गया अंग्रेज़ी नॉर्मलाइज़र offset negative one point five meters को offset -one.5 meters में बदलता है. एक बार सफ़ाई के बाद स्थिर रखा गया अनुमानित पाठ offset one.5 meters है. दोनों पाठों में तीन में से एक शब्द अलग है, यानी WER 33.3% है. दोबारा चलाने पर सहेजा गया संदर्भ offset one.5 meters में बदल जाता है. उसी अनुमानित पाठ से तुलना करने पर त्रुटियों की संख्या शून्य हो जाती है. यह दोबारा चलाई गई जाँच पाठ की स्कोरिंग जाँचती है. Whisper रिलीज़ · पिन किया गया अंग्रेज़ी नॉर्मलाइज़र
स्कोर की तुलना
क्लिप ID से दोनों मॉडल के सहेजे गए आउटपुट को साफ़ किए गए GigaSpeech स्प्लिट से मिलाएँ. दोनों मॉडल के सबमिशन में एक ही क्लिप ID हैं और हर क्लिप का मूल संदर्भ भी समान है. साफ़ किए गए स्प्लिट से मिलाने पर साझा सेट में 18,760 क्लिप हैं. इसी सेट को मूल और साफ़ किए गए संदर्भों के साथ स्कोर करें. अलग-अलग स्कोरर चलाते समय हर मॉडल का सहेजा गया अनुमानित पाठ स्थिर रखें. हर संशोधन अपना अंग्रेज़ी नॉर्मलाइज़ेशन देता है. अलाइनमेंट के लिए Kaldialign 0.12.0 का उपयोग होता है, जिसमें कंपाउंड मर्जिंग चालू है. भाग देने से पहले मिलाई गई क्लिप की त्रुटियों और संदर्भ शब्दों को जोड़ें.
स्कोरिंग के संशोधन edd68424736537b6d0191be325ae3605c33de284 और f58d58a3f98eb9d5c2dd284ce85954b3cd801759 हैं. पहले का स्कोरर · अपडेट किया गया स्कोरर
| संदर्भ | मॉडल | पहले की त्रुटियाँ / शब्द | पहले की WER | अपडेट के बाद त्रुटियाँ / शब्द | अपडेट के बाद WER |
|---|---|---|---|---|---|
| मूल | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| मूल | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| साफ़ किया गया | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| साफ़ किया गया | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
मूल 3B GigaSpeech मैनिफ़ेस्ट में, नए नॉर्मलाइज़ेशन से पहले GigaSpeech के दस्तावेज़ में दर्ज चार तरह के विराम चिह्न मार्कर हटाने पर सभी 19,898 पंक्तियों में संदर्भ और अनुमानित पाठ के टोकन पहले जैसे हो जाते हैं. साफ़ किए गए 0.6B की दरों को राउंड करने पर एक ही प्रतिशत मिलता है, जबकि अपडेट किए गए नियमों के तहत पाँच त्रुटियाँ कम हैं. ये एक प्रकाशक के सहेजे गए सबमिशन को दोबारा चलाने के नतीजे हैं. ये पिन की गई स्कोरिंग सेटिंग के तहत इन आउटपुट पर पड़े असर को दिखाते हैं. GigaSpeech में पाठ की प्रीप्रोसेसिंग
पिन किया गया 3B सबमिशन · पिन किया गया 0.6B सबमिशन · पिन किए गए साफ़ संदर्भ
सहेजे गए स्कोर की जाँच
काल्पनिक संदर्भ we [need to leave] now है. अनुमानित पाठ we now है. पहले का स्कोरर कोष्ठक में दिए गए तीन शब्दों को हटाता है और इस जोड़ी को 0% WER देता है. स्कोर फ़ाइल को बनाए रखने पर अपडेट किया गया स्कोरर 0% लौटाता है और किसी भी जोड़ी का अलाइनमेंट नहीं करता. स्कोर फिर से निकालने का अनुरोध करने पर वह एक जोड़ी का अलाइनमेंट करता है, कोष्ठक में दिए गए शब्दों को संदर्भ शब्दों में रखता है और पाँच शब्दों पर तीन शब्द हटने की त्रुटियाँ, यानी 60%, लौटाता है. मर्ज किए गए बदलाव में स्कोर फिर से निकालने के विकल्प का विवरण है. Open ASR स्कोरिंग में बदलाव
रिकॉर्डिंग की जाँच
मिलाई गई 18,760 क्लिप को GigaSpeech क्लिप ID में दर्ज मूल रिकॉर्डिंग के आधार पर समूहों में बाँटें. 131 समूहों में से हर एक के लिए दोनों सिस्टम से उसकी सभी क्लिप हटाएँ और बचे हुए संदर्भ शब्दों का उपयोग करके अंतर फिर से निकालें. अंतर 0.6B WER में से 3B WER घटाने पर मिलता है. साफ़ किए गए संदर्भों और नए स्कोरर के साथ, पूरे सेट का अंतर 100 × (29,336 − 27,506) / 397,143, यानी 0.460791 प्रतिशत अंक है. किसी एक समूह को हटाने के 131 नतीजे 0.430797 से 0.478149 प्रतिशत अंक के बीच हैं. हर बार समूह हटाने पर क्रम वही रहता है. यह जाँच मिलाए गए सेट में एक बार में एक रिकॉर्डिंग का असर देखती है. GigaSpeech रिकॉर्डिंग और हिस्सों के पहचानकर्ता