أبحاث
كيف تتحقق من درجة التفريغ النصي قبل قبول التسليم
اطلب قائمة المقاطع، والنص المرجعي الذي ستستخدمه في التقييم، والنصوص المفرّغة المسلّمة، وإعدادات التقييم. يحسب معدل خطأ الكلمات عدد الكلمات المستبدلة أو المحذوفة أو المضافة لكل 100 كلمة في النص المرجعي. وقد يخفي المعدل المنخفض أخطاءً مهمة للعمل، مثل فقدان إشارة السالب أو ورود كلمة في جزء خاطئ من التسجيل. راجع هذه التفاصيل قبل قبول التسليم. طريقة حساب معدل خطأ الكلمات
تحقّق من ورود الكلمات في الجزء الصحيح من التسجيل
لنفترض أن النص المرجعي يتألف من مقطعين، turn left وthen stop، وأن النص المسلّم يتألف من turn left then وstop. عند وصل المقطعين، يكون معدل خطأ الكلمات 0% لأن الكلمات الأربع بالترتيب الصحيح. وعند تقييمهما كلًّا على حدة، يصبح المعدل 50% لأن كلمة then زائدة في المقطع الأول وناقصة في الثاني. قيّم كل مقطع على حدة إذا كانت حدود المقاطع مهمة للعمل. مثال على تقييم المقاطع
أبقِ المقاطع الصامتة ضمن الاختبار
في اختبار افتراضي على مقطعين من الكلام، بلغ معدل خطأ الكلمات للنظام A 0% وللنظام B 12.5%. أضفنا مقطعًا واحدًا تأكدنا من أنه صامت. أنتج النظام A كلمتين فيه فارتفع معدله إلى 25%، بينما بقي معدل B عند 12.5%. إذا شمل التسليم أجزاء صامتة، فاذكر عدد المقاطع التي تأكدت من صمتها وظهر فيها نص غير مرغوب فيه. ضع علامة مستقلة على المقاطع التي ينقصها النص المرجعي حتى لا تُحسب ضمن المقاطع الصامتة. مثال على مقطع صامت
راجع الأرقام في النص الأصلي
في أحد الاختبارات، اعتبرت قواعد التقييم أن offset -5 meters وoffset 5 meters متطابقان، وكذلك offset 1.5 meters وoffset 15 meters. وفي اختبار منفصل باستخدام Whisper، أبقت المعالجة الأولى للنص على إشارة السالب في «negative one point five»، وحذفتها المعالجة الثانية. وهكذا انخفض معدل خطأ الكلمات للإجابة نفسها الخالية من الإشارة من 33.3% إلى 0%. إذا كانت الأرقام مهمة، فراجعها في النصوص الأصلية وسجّل عدد مرات معالجة كل نص. اختبار علامات الترقيم · اختبار Whisper
أعِد تقييم المقاطع نفسها عند تغيّر القواعد
قيّمنا النصوص المفرّغة المحفوظة لنموذجين من ARK-ASR على المجموعة نفسها من 18,760 مقطعًا من GigaSpeech. عند استخدام النصوص المرجعية الأصلية، رفع تحديث التقييم في Open ASR معدل خطأ الكلمات للنموذج الأكبر من 6.93% إلى 15.11%، وللنموذج الأصغر من 7.39% إلى 15.50%. عدّت القواعد الجديدة وسوم الترقيم مثل <COMMA> كلمات. وعند استخدام النصوص المرجعية المنقّحة للمقاطع نفسها، بلغ معدلا النموذجين 6.93% و7.39% على الترتيب بعد التقريب إلى منزلتين عشريتين، بالقواعد القديمة والجديدة. مقارنة الدرجات
أعِد حساب الدرجتين باستخدام المقاطع والمراجع نفسها عند تغيّر قواعد التقييم. في مثال افتراضي منفصل، أعاد برنامج التقييم المحدّث النتيجة السابقة من ملف محفوظ إلى أن طلبنا منه إعادة الحساب صراحةً. تأكّد من أن البرنامج أعاد الحساب فعلًا قبل مقارنة النتائج. اختبار الدرجة المحفوظة
تحقّق من أثر تسجيل واحد عندما تتقارب النتائج
تُستخرج مقاطع كثيرة من بعض التسجيلات. في اختبار GigaSpeech، استبعدنا تسجيلًا كاملًا في كل مرة وقارنّا النموذجين على المقاطع المتبقية. باستخدام المراجع المنقّحة والقواعد الأحدث، تقدّم النموذج الأكبر بمقدار 0.46 نقطة مئوية عبر التسجيلات كلها وعددها 131. وتراوح تقدّمه بين 0.43 و0.48 نقطة عند استبعاد تسجيل واحد. استخدم هذا الفحص لتعرف إن كان تسجيل واحد يحسم المقارنة عندما تكون النتائج متقاربة. اختبار بحسب التسجيل