قراءة المقال · تنزيل الأدلة (Markdown)
أدلة التحقق من درجات التفريغ النصي
تستخدم الأمثلة أدناه نصوصًا افتراضية أو نتائج مجمّعة من مشاركات مقدمة إلى اختبارات أداء عامة. يُحسب معدل أخطاء الكلمات (WER) بقسمة مجموع الكلمات المضافة والمحذوفة والمستبدلة على عدد الكلمات المرجعية. اضرب الناتج في 100 للتعبير عنه كنسبة مئوية. التقييم والمحاذاة باستخدام JiWER
مثال على المقاطع
المقطعان المرجعيان هما turn left وthen stop. أما المقطعان المسلّمان فهما turn left then وstop. عند تقييم المقاطع كلٌّ على حدة، تحتسب أداة التقييم إضافة وحذفًا للكلمة then. أي خطآن من أصل أربع كلمات مرجعية، أو 50%. وعند ضم المقاطع، يصبح النص turn left then stop في كلا الجانبين، دون أخطاء في الكلمات الأربع. تقارن هذه العملية النصوص في المقاطع المقدمة. وللتحقق من مواضع ورود الكلمات في التسجيل، يلزم مراجعة الصوت والطوابع الزمنية. المحاذاة باستخدام JiWER
مثال على مقطع صامت
هذه معدلات مجمّعة لمقاطع افتراضية. يحتوي مقطعا الكلام على ثماني كلمات مرجعية. أما المقطع الثالث فقد تم التحقق من أنه صامت، ولا يحتوي على كلمات مرجعية.
| المقاطع التي جرى تقييمها | أخطاء الكلمات في النظام A | أخطاء الكلمات في النظام B | الكلمات المرجعية | معدل أخطاء الكلمات للنظام A | معدل أخطاء الكلمات للنظام B |
|---|---|---|---|---|---|
| مقطعان يحتويان على كلام | 0 | 1 | 8 | 0% | 12.5% |
| مقطعان يحتويان على كلام ومقطع صامت | 2 | 1 | 8 | 25% | 12.5% |
أنتج النظام A كلمتين في المقطع الصامت، بينما تركه النظام B فارغًا. أبلغ عن المقاطع التي تم التحقق من صمتها وظهرت فيها كلمات غير مرغوبة بشكل منفصل عن معدل أخطاء الكلمات المجمّع. وأعطِ المقاطع التي تفتقر إلى نص مرجعي حالة مستقلة. قواعد المراجع الفارغة في JiWER 4
اختبار علامات الترقيم
شُغّل JiWER 4.0.0 على زوجين من النصوص الافتراضية، مع تطبيق إزالة علامات الترقيم الاختيارية على كلا الجانبين. يصبح offset -5 meters وoffset 5 meters متطابقين، وكذلك offset 1.5 meters وoffset 15 meters. بعد التحويل، يعطي كلا الزوجين معدل أخطاء كلمات قدره 0%. تختلف القيم الرقمية الأصلية في كلا الزوجين. إزالة علامات الترقيم باستخدام JiWER
اختبار Whisper
في مثال افتراضي منفصل، تحوّل أداة Whisper المثبّتة لتوحيد النص الإنجليزي offset negative one point five meters إلى offset -one.5 meters. والنص المتنبأ به، الذي يظل ثابتًا بعد معالجة واحدة، هو offset one.5 meters. يختلف النصان في كلمة واحدة من أصل ثلاث كلمات، أي بمعدل أخطاء كلمات قدره 33.3%. تحوّل المعالجة الثانية النص المرجعي المحفوظ إلى offset one.5 meters. وعند مقارنته بالنص المتنبأ به نفسه، يصبح عدد الأخطاء صفرًا. تختبر إعادة التشغيل هذه تقييم النص. إصدار Whisper · أداة توحيد النص الإنجليزي المثبّتة
مقارنة الدرجات
طابق مخرجات النموذجين المحفوظة مع قسم GigaSpeech المنقّح باستخدام معرّف المقطع. تحتوي المشاركتان المقدمتان للنموذجين على معرّفات المقاطع نفسها، ويتفقان على النص المرجعي الأصلي لكل مقطع. يضم التقاطع مع القسم المنقّح 18,760 مقطعًا. قيّم المجموعة نفسها باستخدام النصوص المرجعية الأصلية والمنقّحة. أبقِ النص المتنبأ به المحفوظ لكل نموذج ثابتًا بين أدوات التقييم. تستخدم كل مراجعة طريقتها الخاصة لتوحيد النص الإنجليزي. تستخدم المحاذاة Kaldialign 0.12.0 مع تفعيل دمج الكلمات المركبة. اجمع الأخطاء والكلمات المرجعية عبر المقاطع المطابقة قبل إجراء القسمة.
مراجعتا أداة التقييم هما edd68424736537b6d0191be325ae3605c33de284 وf58d58a3f98eb9d5c2dd284ce85954b3cd801759. أداة التقييم السابقة · أداة التقييم المحدّثة
| النصوص المرجعية | النموذج | الأخطاء / الكلمات سابقًا | معدل أخطاء الكلمات السابق | الأخطاء / الكلمات بعد التحديث | معدل أخطاء الكلمات المحدّث |
|---|---|---|---|---|---|
| الأصلية | ARK-ASR-3B | 27,504 / 397,141 | 6.93% | 65,917 / 436,320 | 15.11% |
| الأصلية | ARK-ASR-0.6B | 29,339 / 397,141 | 7.39% | 67,608 / 436,320 | 15.50% |
| المنقّحة | ARK-ASR-3B | 27,506 / 397,143 | 6.93% | 27,506 / 397,143 | 6.93% |
| المنقّحة | ARK-ASR-0.6B | 29,341 / 397,143 | 7.39% | 29,336 / 397,143 | 7.39% |
في ملف بيانات GigaSpeech الأصلي للنموذج 3B، تؤدي إزالة الأنواع الأربعة الموثّقة لعلامات الترقيم في GigaSpeech قبل تطبيق طريقة التوحيد الأحدث إلى استعادة الوحدات النصية المرجعية والمتنبأ بها السابقة في جميع الصفوف البالغ عددها 19,898. وتُقرّب معدلات النموذج 0.6B باستخدام النصوص المرجعية المنقّحة إلى النسبة المئوية نفسها، مع انخفاض عدد الأخطاء بمقدار خمسة وفق القواعد المحدّثة. هذه النتائج ناتجة عن إعادة تشغيل مشاركات محفوظة من ناشر واحد، وتبيّن أثر القواعد على هذه المخرجات وفق إعدادات التقييم المثبّتة. المعالجة المسبقة للنصوص في GigaSpeech
مشاركة 3B المثبّتة · مشاركة 0.6B المثبّتة · النصوص المرجعية المنقّحة المثبّتة
اختبار الدرجة المحفوظة
النص المرجعي الافتراضي هو we [need to leave] now، والنص المتنبأ به هو we now. تزيل أداة التقييم السابقة الكلمات الثلاث المحصورة بين أقواس مربعة وتقيّم الزوج بمعدل أخطاء كلمات قدره 0%. عند الاحتفاظ بملف الدرجات، تعيد أداة التقييم المحدّثة 0% ولا تحاذي أي زوج من النصوص. وعند طلب إعادة الحساب، تحاذي زوجًا واحدًا، وتُبقي الكلمات المحصورة بين الأقواس ضمن الكلمات المرجعية، وتُظهر ثلاث حالات حذف من أصل خمس كلمات، أي 60%. يوثّق التغيير المدمج خيار إعادة الحساب. تغيير التقييم في Open ASR
اختبار التسجيلات
اجمع المقاطع المطابقة البالغ عددها 18,760 بحسب التسجيل الأصلي المشفّر في معرّف مقطع GigaSpeech. لكل مجموعة من المجموعات البالغ عددها 131، استبعد جميع مقاطعها من كلا النظامين وأعِد حساب الفارق باستخدام الكلمات المرجعية المتبقية. الفارق هو معدل أخطاء الكلمات للنموذج 0.6B مطروحًا منه معدل أخطاء الكلمات للنموذج 3B. باستخدام النصوص المرجعية المنقّحة وأداة التقييم الأحدث، يبلغ الفارق للمجموعة الكاملة 100 × (29,336 − 27,506) / 397,143، أي 0.460791 نقطة مئوية. تتراوح نتائج حالات الاستبعاد البالغ عددها 131 بين 0.430797 و0.478149 نقطة مئوية. يظل ترتيب النموذجين كما هو في كل حالة استبعاد. يختبر ذلك حساسية النتائج لاستبعاد تسجيل واحد في كل مرة من المجموعة المطابقة. معرّفات التسجيلات والمقاطع في GigaSpeech