أبحاث
كيفية إعادة حساب درجات chrF لمجموعة النصوص ومقارنتها
لإعادة حساب درجة chrF لمجموعة النصوص كاملة، احفظ اسم المقياس وإصداره وخياراته ومدخلاته الدقيقة. احفظ ملف التنبؤات وقائمة ملفات المراجع مرتّبة مع قيم التحقّق منها. احتفظ بمعرّفات ثابتة للمقاطع أو بسجل يوضّح كيف تقابل التنبؤات المقاطع في كل ملف مرجعي.
تستخدم الأمثلة نصوصًا افتراضية ومقطعين وإعدادات chrF2 الافتراضية في SacreBLEU 2.6.0.
استخدم ترتيب الملفات في التقييم الأصلي
يختار SacreBLEU مرجعًا لكل تنبؤ على حدة. ويستخدم الأعداد من المرجع الذي يعطي أعلى درجة للجملة، ويحتفظ بأول مرجع عند تساوي الدرجات تمامًا. لحساب chrF2 لمجموعة النصوص كاملة، يجمع أولًا أعداد مجموعات المحارف المتتالية ذات الطول المحدد.
في المثال الأول، يتعادل المرجعان عند 6.25 لأول تنبؤ من A. وتختلف أعداد مجموعات المحارف المتتالية بينهما. يؤدي تبديل ترتيب الملفين إلى انخفاض درجة A على مجموعة النصوص من 79.03 إلى 39.48. تبقى درجة B عند 64.31، فيتغيّر الفائز. تعطي الواجهة البرمجية وسطر الأوامر النتيجة نفسها، وتحمل التشغيلات الأربعة بصمة المقياس نفسها. استخدم الملفات بالترتيب الأصلي للتحقّق من القيمة المعلنة.
قارن النظامَين بكل ترتيب محتمل
إذا لم تكن متأكدًا من الترتيب الأصلي، فسجّل الترتيبات المحتملة واحسب درجات النظامَين في كل منها. احسب الفرق داخل كل تشغيل قبل تلخيص نطاق الفروق.
في مثال آخر بثلاثة ملفات مرجعية، تتراوح درجات A من 22.67 إلى 79.03 ودرجات B من 16.33 إلى 43.33. يتداخل النطاقان. ومع ذلك، يتقدّم A في الترتيبات الستة المشتركة بين النظامَين بفارق من 6.33 إلى 35.69 نقطة، باستخدام الدرجات قبل تقريبها. إذا تغيّر الفائز بتغيّر الترتيب، فاذكر ذلك. وإذا ظل الفائز نفسه، فاذكر الترتيبات المشتركة التي تدعم هذه النتيجة. استعد الترتيب الأصلي للتحقّق من القيمة الأصلية.
أعد حساب الدرجات عند تغيير المراجع
قد يرفع مرجع جديد درجة جملة ويخفض chrF2 لمجموعة النصوص كاملة. في المثال الثالث، ترفع إضافة ملف مرجعي درجة الجملة الأولى لـ A من 6.25 إلى 6.94، بينما تبقى الثانية عند 100. يرتفع متوسط درجات الجمل لـ A، لكن درجته على مجموعة النصوص تنخفض من 79.03 إلى 43.60. تبقى درجة B عند 64.31. يحقّق المرجع المضاف للمقطع الأول درجة أعلى للجملة، ويعطي كلا الترتيبين النتيجة نفسها لمجموعة النصوص. تغيّر الأعداد المختارة عدد المطابقات والمقامات المستخدمة في حساب درجة المجموعة.
عند تغيير المراجع، احسب درجات النظامَين بملفات كل إصدار وترتيبها الدقيق. احتفظ بالنتائج الأربع معًا كي يرى القارئ المقارنة المباشرة لكل إصدار وأثر تغيير المرجع. وضّح هل النتيجة هي chrF2 لمجموعة النصوص كاملة أم متوسط درجات الجمل.