أبحاث
ما الذي تراجعه قبل مقارنة درجات macro-F1؟
يعطي macro-F1 الوزن نفسه لدرجة كل فئة تدخل في المتوسط. قبل استخدامه لاختيار نموذج تصنيف، سجّل معرّفات الحالات وإصدار التصنيفات وإعدادات حساب الدرجات. توضّح ثلاثة اختبارات ببيانات افتراضية في scikit-learn 1.7.2 كيف يمكن للتنبؤات نفسها أن تؤدي إلى ترتيب مختلف للنماذج. تعريف درجة F1 وخياراتها في scikit-learn
قارن الدرجات عند المستوى نفسه من تفصيل التصنيفات. في تسع حالات لخدمة العملاء مصنّفة إلى استرداد المبلغ والفاتورة وتسجيل الدخول، تقدّم B بنتيجة 0.778 مقابل 0.556. بعد دمج استرداد المبلغ والفاتورة في فئة الفوترة، أصبحت أربعة من أخطاء A تنبؤات صحيحة للفوترة. وظل خطآ B بين فئات مختلفة. عندها تقدّم A بنتيجة 1.000 مقابل 0.750. للمقارنة بين نتائج إصدارات مختلفة من التصنيفات، احفظ جدول المطابقة وأعد حساب درجات النظامين بالمستوى نفسه من التفصيل. واحتفظ بالتصنيفات والتنبؤات الأصلية إذا ظل التمييز مهمًا للمهمة.
تحقّق من الفئات التي تدخل في كل متوسط. في مجموعة أخرى خلت تصنيفاتها المرجعية من الاحتيال، تنبّأ A بالاحتيال مرة واحدة وحصل على درجة F1 معرّفة تساوي صفرًا لهذه الفئة. أما B فلم يظهر الاحتيال في مراجعه أو تنبؤاته. عند استنتاج الفئات من البيانات، حصل B على 0.667 عبر فئتين وحصل A على 0.600 عبر ثلاث فئات. مع قائمة محددة من ثلاث فئات، واحتساب الدرجات غير المعرّفة لـ F1 على أنها صفر، انخفضت درجة B إلى 0.444. وعند استخدام القائمة نفسها واستبعاد الدرجات غير المعرّفة، عادت درجة B إلى 0.667. سجّل قائمة الفئات المقصودة وقاعدة التعامل مع الدرجات غير المعرّفة وعدد الحالات المرجعية والتنبؤات لكل فئة وعدد الفئات التي دخلت في المتوسط فعليًا.
اذكر هل جمعت الحالات أم أخذت متوسط درجات المجموعات. في مجموعتين متوازنتين من ثماني حالات لكل منهما، أعطى متوسط درجتي macro-F1 الصدارة لـ A بنتيجة 0.600 مقابل 0.564. وعند حساب درجة واحدة لجميع التنبؤات البالغ عددها 16، تقدّم B بنتيجة 0.625 مقابل 0.600. لأن المجموعتين متساويتان في الحجم، يبقى المتوسط نفسه عند إعطائهما وزنًا متساويًا أو وزنًا حسب عدد الحالات. وتستخدم الدرجة المجمّعة لكل فئة مجموع الإيجابيات الصحيحة والإيجابيات الخاطئة والسلبيات الخاطئة. في التقرير المجمّع، اجمع هذه الأعداد قبل حساب F1 لكل فئة. وفي تقرير المجموعات، اعرض درجة كل مجموعة ووزنها.
احتفظ بإصدار جدول مطابقة التصنيفات وأعداد مصفوفة الالتباس لكل فئة مع الدرجة. إذا اختلفت الإعدادات بين التقارير، فأعد تقييم النظامين بالحالات نفسها ومستوى تفصيل التصنيفات نفسه وقاعدة الدرجات غير المعرّفة وطريقة التجميع نفسيهما قبل تفسير الترتيب.