# ראיות לבדיקת ציוני תמלול

הדוגמאות להלן מבוססות על טקסט מומצא או על תוצאות מצטברות מהגשות למבחני ביצועים ציבוריים. שיעור שגיאות המילים (WER) מחלק את סך ההוספות, ההשמטות וההחלפות במספר המילים בטקסט המקור. כדי לבטא את התוצאה באחוזים, מכפילים אותה ב-100. [חישוב ציונים והתאמה ב-JiWER](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## דוגמה למקטעים

מקטעי המקור הם `turn left` ו-`then stop`. המקטעים שנמסרו הם `turn left then` ו-`stop`. בחישוב לפי מקטעים נפרדים, מערכת הניקוד סופרת הוספה והשמטה של `then`. מדובר ב-2 שגיאות מתוך 4 מילים בטקסט המקור, כלומר 50%. חיבור המקטעים נותן `turn left then stop` בשני הצדדים, ללא שגיאות מתוך 4 מילים. ההשוואה הזאת בודקת את הטקסט במקטעים שסופקו. כדי לוודא מתי המילים נאמרות בהקלטה, יש לבדוק את השמע ואת חותמות הזמן. [התאמה ב-JiWER](https://jitsi.github.io/jiwer/usage/#alignment)

## דוגמה לקטע שקט

אלה שיעורים מצטברים עבור קטעים מומצאים. 2 קטעי הדיבור מכילים יחד 8 מילים בטקסט המקור. הקטע השלישי אומת כשקט ואינו מכיל מילים בטקסט המקור.

| הקטעים שנבדקו | שגיאות מילים של מערכת A | שגיאות מילים של מערכת B | מילים בטקסט המקור | WER של A | WER של B |
| --- | ---: | ---: | ---: | ---: | ---: |
| 2 קטעי דיבור | 0 | 1 | 8 | 0% | 12.5% |
| 2 קטעי דיבור וקטע שקט אחד | 2 | 1 | 8 | 25% | 12.5% |

מערכת A הפיקה 2 מילים בקטע השקט. מערכת B השאירה אותו ריק. יש לדווח על קטעים שאומתו כשקטים והופיעו בהם מילים לא רצויות בנפרד משיעור שגיאות המילים המצטבר. יש לתת סטטוס נפרד לקטעים שטקסט המקור שלהם חסר. [הכללים לטקסט מקור ריק ב-JiWER 4](https://jitsi.github.io/jiwer/#a-note-on-empty-references)

## בדיקת סימני פיסוק

JiWER 4.0.0 הורץ על 2 זוגות של טקסטים מומצאים, עם האפשרות להסרת סימני פיסוק משני הצדדים. `offset -5 meters` ו-`offset 5 meters` הופכים לזהים, וכך גם `offset 1.5 meters` ו-`offset 15 meters`. לאחר השינוי, בשתי ההשוואות מתקבל WER של 0%. השדות המספריים המקוריים שונים בשני הזוגות. [הסרת סימני פיסוק ב-JiWER](https://jitsi.github.io/jiwer/reference/transforms/#transforms.RemovePunctuation)

## בדיקת Whisper

בדוגמה בדיונית נפרדת, מנרמל האנגלית של Whisper בגרסה המקובעת ממיר את `offset negative one point five meters` ל-`offset -one.5 meters`. טקסט החיזוי הקבוע לאחר ניקוי אחד הוא `offset one.5 meters`. הטקסטים שונים במילה אחת מתוך 3, כלומר WER של 33.3%. מעבר שני ממיר את טקסט המקור השמור ל-`offset one.5 meters`. בהשוואה לאותו טקסט חיזוי, מספר השגיאות יורד לאפס. הרצה חוזרת זו בודקת את ניקוד הטקסט. [גרסת Whisper](https://github.com/openai/whisper/releases/tag/v20250625) · [מנרמל האנגלית בגרסה המקובעת](https://github.com/openai/whisper/blob/31243bad24cc746f07d4c8bfdd2d974872cb1803/whisper/normalizers/english.py)

## השוואת ציונים

מתאימים לפי מזהה קטע את הפלטים השמורים של שני המודלים ואת קבוצת הנתונים המנוקה של GigaSpeech. שתי הגשות המודלים מכילות את אותם מזהי קטעים ומסכימות על טקסט המקור המקורי של כל קטע. החיתוך עם קבוצת הנתונים המנוקה מכיל **18,760 קטעים**. מחשבים את הציונים לאותה קבוצה באמצעות טקסטי המקור המקוריים והמנוקים. שומרים על טקסט החיזוי השמור של כל מודל ללא שינוי בין מערכות הניקוד. כל גרסת קוד מספקת את נרמול האנגלית שלה. ההתאמה משתמשת ב-Kaldialign 0.12.0, כשמיזוג מילים מורכבות מופעל. לפני החלוקה, מחברים את השגיאות ואת מילות המקור בכל הקטעים המותאמים.

גרסאות הקוד של מערכת הניקוד הן `edd68424736537b6d0191be325ae3605c33de284` ו-`f58d58a3f98eb9d5c2dd284ce85954b3cd801759`. [מערכת הניקוד הקודמת](https://github.com/huggingface/open_asr_leaderboard/tree/edd68424736537b6d0191be325ae3605c33de284) · [מערכת הניקוד המעודכנת](https://github.com/huggingface/open_asr_leaderboard/tree/f58d58a3f98eb9d5c2dd284ce85954b3cd801759)

| טקסטי מקור | מודל | שגיאות / מילים לפי הכללים הקודמים | WER לפי הכללים הקודמים | שגיאות / מילים לפי הכללים המעודכנים | WER לפי הכללים המעודכנים |
| --- | --- | ---: | ---: | ---: | ---: |
| מקורי | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| מקורי | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| מנוקה | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| מנוקה | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |

במניפסט GigaSpeech המקורי של 3B, הסרת 4 סוגי סמני הפיסוק המתועדים של GigaSpeech לפני הנרמול החדש משחזרת את הטוקנים של טקסט המקור ושל טקסט החיזוי לפי הכללים הקודמים בכל 19,898 השורות. השיעורים של 0.6B בטקסטים המנוקים מתעגלים לאותו אחוז, עם 5 שגיאות פחות לפי הכללים המעודכנים. אלה הרצות חוזרות של הגשות שמורות מאותו מפרסם. הן מראות את ההשפעה על הפלטים האלה בהגדרות הניקוד המקובעות. [עיבוד מקדים של טקסט ב-GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#text-pre-processing)

[ההגשה המקובעת של 3B](https://huggingface.co/datasets/Edge0/ark-asr-3b-open-asr-leaderboard-results/blob/b98599d8b525251956c36fd237b0c30af18fea90/MODEL_AutoArk-AI-ARK-ASR-3B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [ההגשה המקובעת של 0.6B](https://huggingface.co/datasets/Edge0/ark-asr-open-asr-leaderboard-results/blob/1419570c86ca7599cb25efedee2361de38a77ff4/MODEL_AutoArk-AI-ARK-ASR-0.6B_DATASET_hf-audio-open-asr-leaderboard_gigaspeech_test.jsonl) · [טקסטי המקור המנוקים בגרסה המקובעת](https://huggingface.co/datasets/hf-audio/open-asr-leaderboard/tree/de79e57adf9983993bcc72586d7313460825f5eb/gigaspeech_cleaned)

## בדיקת ציון שמור

טקסט המקור הבדיוני הוא `we [need to leave] now`. טקסט החיזוי הוא `we now`. מערכת הניקוד הקודמת מסירה את 3 המילים שבסוגריים המרובעים ומעניקה לזוג WER של 0%. כאשר קובץ הציון נשמר, מערכת הניקוד המעודכנת מחזירה 0% ואינה מתאימה אף זוג. כאשר מבקשים חישוב מחדש, היא מתאימה זוג אחד, משאירה את המילים שבסוגריים המרובעים כמילים בטקסט המקור ומחזירה 3 השמטות מתוך 5 מילים, כלומר 60%. שינוי הקוד שמוזג מתעד את האפשרות לחישוב מחדש. [השינוי בניקוד של Open ASR](https://github.com/huggingface/open_asr_leaderboard/pull/246)

## בדיקת השפעת הקלטה

מקבצים את 18,760 הקטעים המותאמים לפי ההקלטה המקורית המקודדת במזהה הקטע של GigaSpeech. עבור כל אחת מ-131 הקבוצות, משמיטים את כל הקטעים שלה משתי המערכות ומחשבים מחדש את הפער באמצעות מילות המקור שנותרו. הפער הוא ה-WER של 0.6B פחות ה-WER של 3B. עם טקסטי מקור מנוקים ומערכת הניקוד החדשה, הפער בקבוצה המלאה הוא `100 × (29,336 − 27,506) / 397,143`, כלומר **0.460791 נקודות אחוז**. טווח התוצאות של 131 ההשמטות נע בין **0.430797 ל-0.478149 נקודות אחוז**. בכל השמטה נשמר אותו סדר בין המערכות. הבדיקה בוחנת את הרגישות להקלטה אחת בכל פעם בקבוצה המותאמת. [מזהי הקלטות ומקטעים ב-GigaSpeech](https://github.com/SpeechColab/GigaSpeech/blob/44289e4bb6d65291456cf94de495ea83668d1df1/README.md#metadata-walkthrough)
