# איך לבדוק ציון תמלול לפני שמאשרים את המסירה

בקשו את רשימת הקטעים, את טקסט הייחוס שלפיו יחושב הציון, את התמלילים שנמסרו ואת הגדרות הניקוד. שיעור שגיאות המילים מונה מילים שהוחלפו, הושמטו או נוספו לכל 100 מילים בטקסט הייחוס. גם שיעור נמוך עלול להסתיר שגיאות שמשפיעות על העבודה, למשל סימן מינוס שנשמט או מילה שהופיעה בחלק הלא נכון של ההקלטה. בדקו את הפרטים האלה לפני אישור המסירה. [איך מחשבים את שיעור שגיאות המילים](https://jitsi.github.io/jiwer/usage/#word-error-rate)

## בדקו אם המילים נמצאות בחלק הנכון של ההקלטה

נניח שבטקסט הייחוס יש שני מקטעים, `turn left` ו־`then stop`. בתמליל שנמסר מופיעים `turn left then` ו־`stop`. בחיבור המקטעים מתקבל שיעור שגיאות של 0%, כי כל ארבע המילים מופיעות בסדר הנכון. בניקוד נפרד מתקבל 50%, כי `then` נוספה למקטע הראשון וחסרה בשני. אם גבולות המקטעים חשובים לעבודה, חשבו ציון לכל מקטע בנפרד. [דוגמה עם שני מקטעים](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#segment-example)

## כללו קטעים שקטים בבדיקה

בבדיקה מדומה של שני קטעי דיבור, שיעור שגיאות המילים של מערכת A היה 0% ושל מערכת B היה 12.5%. הוספנו קטע אחד שאומת כשקט. מערכת A הפיקה בו שתי מילים ושיעור השגיאות שלה עלה ל־25%. השיעור של מערכת B נשאר 12.5%. אם המסירה כוללת חלקים שקטים, דווחו בכמה קטעים שאומתו כשקטים הופיע טקסט לא רצוי. סמנו בנפרד קטעים שחסר להם טקסט ייחוס, כדי שלא ייספרו כקטעים שקטים. [דוגמה עם קטע שקט](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#silent-clip-example)

## בדקו את המספרים בטקסט המקורי

בבדיקה אחת, כללי הניקוד התייחסו אל `offset -5 meters` ואל `offset 5 meters` כאילו היו זהים. כך גם לגבי `offset 1.5 meters` ו־`offset 15 meters`. בבדיקה נפרדת של Whisper, הנרמול הראשון שמר על סימן המינוס של ״negative one point five״. הנרמול השני הסיר אותו, ושיעור שגיאות המילים לאותה תשובה ללא סימן ירד מ־33.3% ל־0%. אם המספרים חשובים, קראו אותם בטקסטים המקוריים ותעדו כמה פעמים כל טקסט עבר נרמול. [בדיקת סימני פיסוק](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#punctuation-test) · [בדיקת Whisper](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#whisper-test)

## חשבו מחדש את הציונים באותם קטעים כשהכללים משתנים

ניקדנו תמלילים שמורים של שני דגמי ARK-ASR באותם 18,760 קטעים של GigaSpeech. עם טקסטי הייחוס המקוריים, עדכון של Open ASR העלה את שיעור שגיאות המילים של הדגם הגדול מ־6.93% ל־15.11%, ואת השיעור של הדגם הקטן מ־7.39% ל־15.50%. הכללים החדשים ספרו סימוני פיסוק כמו `<COMMA>` כמילים. עם טקסטי ייחוס מנוקים לאותם קטעים, שיעורי השגיאות בשני הדגמים היו 6.93% ו־7.39% בהתאמה, בעיגול לשתי ספרות אחרי הנקודה, לפי שתי גרסאות הכללים. [השוואת ציונים](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#score-comparison)

כאשר כללי הניקוד משתנים, חשבו מחדש את שני הציונים באותם קטעים וטקסטי ייחוס. בדוגמה מדומה נפרדת, תוכנת הניקוד המעודכנת החזירה את התוצאה הקודמת מקובץ שמור עד שביקשנו במפורש לחשב אותה מחדש. בדקו שהתוכנה אכן ביצעה חישוב חדש לפני השוואת התוצאות. [בדיקת ציון שמור](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#saved-score-test)

## בדקו עד כמה הקלטה אחת משפיעה על תוצאה צמודה

מהקלטות מסוימות מתקבלים קטעים רבים. בבדיקה על GigaSpeech השמטנו בכל פעם הקלטה שלמה אחת והשווינו את הדגמים בקטעים שנותרו. עם טקסטי ייחוס מנוקים והכללים החדשים, הדגם הגדול הוביל ב־0.46 נקודות אחוז על פני כל 131 ההקלטות. כאשר השמטנו הקלטה אחת, היתרון נע בין 0.43 ל־0.48 נקודות. בדיקה זו עוזרת לזהות אם הקלטה יחידה מכריעה השוואה צמודה. [בדיקה לפי הקלטה](https://sapien1.com/he/research/transcript-score-acceptance/evidence.html#recording-test)
