# ट्रांसक्रिप्ट स्कोर की जाँच के साक्ष्य

नीचे दिए गए उदाहरणों में काल्पनिक पाठ या सार्वजनिक बेंचमार्क सबमिशन के समेकित नतीजों का उपयोग किया गया है. शब्द त्रुटि दर (WER) निकालने के लिए जोड़े गए, हटाए गए और बदले गए शब्दों की कुल संख्या को संदर्भ के शब्दों की संख्या से भाग दिया जाता है. नतीजे को प्रतिशत में दिखाने के लिए उसे 100 से गुणा करें. [JiWER स्कोरिंग और अलाइनमेंट](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## हिस्सों का उदाहरण

संदर्भ के हिस्से `turn left` और `then stop` हैं. डिलीवर किए गए हिस्से `turn left then` और `stop` हैं. अलग-अलग हिस्सों की तुलना में स्कोरर `then` के लिए एक शब्द जुड़ने और एक शब्द हटने की त्रुटि गिनता है. यानी संदर्भ के चार शब्दों पर दो त्रुटियाँ, या 50%. हिस्सों को जोड़ने पर दोनों तरफ़ `turn left then stop` मिलता है और चार शब्दों पर कोई त्रुटि नहीं होती. यह तुलना दिए गए हिस्सों के पाठ की है. रिकॉर्डिंग में शब्द कब बोले गए हैं, यह जाँचने के लिए ऑडियो और टाइमस्टैम्प देखने होंगे. [JiWER अलाइनमेंट](https://jitsi.github.io/jiwer/usage/#alignment)

## मौन क्लिप का उदाहरण

ये काल्पनिक क्लिप की संयुक्त दरें हैं. बोलचाल वाली दो क्लिप में संदर्भ के कुल आठ शब्द हैं. तीसरी क्लिप की जाँच में मौन की पुष्टि हुई है और उसमें संदर्भ का कोई शब्द नहीं है.

| स्कोर की गई क्लिप | सिस्टम A की शब्द त्रुटियाँ | सिस्टम B की शब्द त्रुटियाँ | संदर्भ के शब्द | A की WER | B की WER |
| --- | ---: | ---: | ---: | ---: | ---: |
| बोलचाल वाली दो क्लिप | 0 | 1 | 8 | 0% | 12.5% |
| बोलचाल वाली दो क्लिप और एक मौन क्लिप | 2 | 1 | 8 | 25% | 12.5% |

A ने मौन क्लिप पर दो शब्द दिए. B ने उसे खाली छोड़ा. जिन क्लिप की जाँच में मौन की पुष्टि हुई है लेकिन जिनमें अनचाहे शब्द मिले हैं, उन्हें संयुक्त शब्द त्रुटि दर से अलग रिपोर्ट करें. जिन क्लिप का संदर्भ पाठ गायब है, उन्हें अलग स्थिति दें. [JiWER 4 में खाली संदर्भ के नियम](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## विराम चिह्न की जाँच

JiWER 4.0.0 को काल्पनिक पाठ के दो जोड़ों पर चलाया गया. वैकल्पिक विराम चिह्न हटाने का नियम दोनों पक्षों पर लागू किया गया. `offset -5 meters` और `offset 5 meters` एक जैसे हो जाते हैं. यही `offset 1.5 meters` और `offset 15 meters` के साथ होता है. इस बदलाव के बाद दोनों तुलनाओं में WER 0% है. दोनों जोड़ियों में मूल संख्यात्मक फ़ील्ड अलग हैं. [JiWER में विराम चिह्न हटाना](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## Whisper की जाँच

एक अलग काल्पनिक उदाहरण में, Whisper का पिन किया गया अंग्रेज़ी नॉर्मलाइज़र `offset negative one point five meters` को `offset -one.5 meters` में बदलता है. एक बार सफ़ाई के बाद स्थिर रखा गया अनुमानित पाठ `offset one.5 meters` है. दोनों पाठों में तीन में से एक शब्द अलग है, यानी WER 33.3% है. दोबारा चलाने पर सहेजा गया संदर्भ `offset one.5 meters` में बदल जाता है. उसी अनुमानित पाठ से तुलना करने पर त्रुटियों की संख्या शून्य हो जाती है. यह दोबारा चलाई गई जाँच पाठ की स्कोरिंग जाँचती है. [Whisper रिलीज़](https://github.com/openai/whisper/releases/tag/v20250625) · [पिन किया गया अंग्रेज़ी नॉर्मलाइज़र](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## स्कोर की तुलना

क्लिप ID से दोनों मॉडल के सहेजे गए आउटपुट को साफ़ किए गए GigaSpeech स्प्लिट से मिलाएँ. दोनों मॉडल के सबमिशन में एक ही क्लिप ID हैं और हर क्लिप का मूल संदर्भ भी समान है. साफ़ किए गए स्प्लिट से मिलाने पर साझा सेट में **18,760 क्लिप** हैं. इसी सेट को मूल और साफ़ किए गए संदर्भों के साथ स्कोर करें. अलग-अलग स्कोरर चलाते समय हर मॉडल का सहेजा गया अनुमानित पाठ स्थिर रखें. हर संशोधन अपना अंग्रेज़ी नॉर्मलाइज़ेशन देता है. अलाइनमेंट के लिए Kaldialign 0.12.0 का उपयोग होता है, जिसमें कंपाउंड मर्जिंग चालू है. भाग देने से पहले मिलाई गई क्लिप की त्रुटियों और संदर्भ शब्दों को जोड़ें.

स्कोरिंग के संशोधन `edd68424736537b6d0191be325ae3605c33de284` और `f58d58a3f98eb9d5c2dd284ce85954b3cd801759` हैं. [पहले का स्कोरर](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [अपडेट किया गया स्कोरर](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| संदर्भ | मॉडल | पहले की त्रुटियाँ / शब्द | पहले की WER | अपडेट के बाद त्रुटियाँ / शब्द | अपडेट के बाद WER |
| --- | --- | ---: | ---: | ---: | ---: |
| मूल | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| मूल | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| साफ़ किया गया | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| साफ़ किया गया | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

मूल 3B GigaSpeech मैनिफ़ेस्ट में, नए नॉर्मलाइज़ेशन से पहले GigaSpeech के दस्तावेज़ में दर्ज चार तरह के विराम चिह्न मार्कर हटाने पर सभी 19,898 पंक्तियों में संदर्भ और अनुमानित पाठ के टोकन पहले जैसे हो जाते हैं. साफ़ किए गए 0.6B की दरों को राउंड करने पर एक ही प्रतिशत मिलता है, जबकि अपडेट किए गए नियमों के तहत पाँच त्रुटियाँ कम हैं. ये एक प्रकाशक के सहेजे गए सबमिशन को दोबारा चलाने के नतीजे हैं. ये पिन की गई स्कोरिंग सेटिंग के तहत इन आउटपुट पर पड़े असर को दिखाते हैं. [GigaSpeech में पाठ की प्रीप्रोसेसिंग](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[पिन किया गया 3B सबमिशन](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [पिन किया गया 0.6B सबमिशन](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [पिन किए गए साफ़ संदर्भ](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## सहेजे गए स्कोर की जाँच

काल्पनिक संदर्भ `we [need to leave] now` है. अनुमानित पाठ `we now` है. पहले का स्कोरर कोष्ठक में दिए गए तीन शब्दों को हटाता है और इस जोड़ी को 0% WER देता है. स्कोर फ़ाइल को बनाए रखने पर अपडेट किया गया स्कोरर 0% लौटाता है और किसी भी जोड़ी का अलाइनमेंट नहीं करता. स्कोर फिर से निकालने का अनुरोध करने पर वह एक जोड़ी का अलाइनमेंट करता है, कोष्ठक में दिए गए शब्दों को संदर्भ शब्दों में रखता है और पाँच शब्दों पर तीन शब्द हटने की त्रुटियाँ, यानी 60%, लौटाता है. मर्ज किए गए बदलाव में स्कोर फिर से निकालने के विकल्प का विवरण है. [Open ASR स्कोरिंग में बदलाव](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## रिकॉर्डिंग की जाँच

मिलाई गई 18,760 क्लिप को GigaSpeech क्लिप ID में दर्ज मूल रिकॉर्डिंग के आधार पर समूहों में बाँटें. 131 समूहों में से हर एक के लिए दोनों सिस्टम से उसकी सभी क्लिप हटाएँ और बचे हुए संदर्भ शब्दों का उपयोग करके अंतर फिर से निकालें. अंतर 0.6B WER में से 3B WER घटाने पर मिलता है. साफ़ किए गए संदर्भों और नए स्कोरर के साथ, पूरे सेट का अंतर `100 × (29,336 − 27,506) / 397,143`, यानी **0.460791 प्रतिशत अंक** है. किसी एक समूह को हटाने के 131 नतीजे **0.430797 से 0.478149 प्रतिशत अंक** के बीच हैं. हर बार समूह हटाने पर क्रम वही रहता है. यह जाँच मिलाए गए सेट में एक बार में एक रिकॉर्डिंग का असर देखती है. [GigaSpeech रिकॉर्डिंग और हिस्सों के पहचानकर्ता](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
