أبحاث
كيف تفحص AUROC من التحقّق المتقاطع قبل اختيار نموذج
ابدأ بالمقارنة التي تحتاج إليها. هل تشمل جميع أقسام الاختبار المطلوبة؟ هل ينبغي أن يكون لكل قسم الوزن نفسه أم لكل زوج قابل للمقارنة؟ إذا كانت الدرجات من نماذج دُرّبت على حدة، فحدّد هل يدعم التقييم مقارنة درجاتها بين الأقسام.
تحقّق من وجود درجة لكل قسم مطلوب
عند حساب AUROC ثنائي الفئات، احسب الحالات الموجبة والسالبة في كل قسم اختبار. احفظ معرّفات التحقّق التي حُسبت لها درجات، ودرجات كل مرشّح في الأقسام، والتحذيرات الصادرة أثناء التشغيل.
في بحث شبكي افتراضي من عشر حالات، يضم قسمان كلتا الفئتين، بينما يضم الثالث حالات سالبة فقط. يصدر scikit-learn 1.7.2 تحذيرًا ويعيد NaN لكلا المرشّحين في القسم الثالث. المتوسّطان NaN والمرشّحان في المرتبة 1. يعيد البحث تدريب المرشّح الأول في القائمة حتى مع error_score="raise". عند عكس الترتيب يتغيّر الاختيار.
في فحص تشخيصي منفصل يقتصر على القسمين اللذين لهما درجات معرّفة، يكون المتوسط 1.00 لـ A و0.375 لـ B. يُختار A في الترتيبين. إذا عرضت هذا الفحص، فاذكر أن نطاق التحقّق أضيق. عالج تغطية الأقسام المطلوبة أصلًا قبل استخدام البحث لاختيار الفائز.
تحقّق من أوزان درجات الأقسام
في AUROC الثنائي غير الموزون، يتيح قسم اختبار فيه p من الحالات الموجبة وn من الحالات السالبة عددًا قدره p × n من المقارنات بين الموجب والسالب. يبيّن AUROC داخل القسم عدد المرات التي تسجّل فيها الحالة الموجبة درجة أعلى، مع نصف نقطة عند التعادل. يمنح المتوسط حسب الأقسام كل قسم الوزن نفسه. ويمنح الوزن حسب الأزواج داخل الأقسام كل زوج مؤهّل الوزن نفسه.
في مثال افتراضي آخر، يضم كل قسم ستة صفوف. يضم القسم 1 حالة موجبة وخمس حالات سالبة، فينتج خمسة أزواج. ويضم القسم 2 ثلاث حالات من كل فئة، فينتج تسعة أزواج. يحصل A على 5/5 و4/9. ويحصل B على 2/5 و8/9.
| الحساب | A | B | الدرجة الأعلى |
|---|---|---|---|
| وزن متساوٍ لكل قسم | 13/18 | 29/45 | A |
| وزن متساوٍ لكل زوج داخل القسم | 9/14 | 10/14 | B |
في هذه المقارنة تتعادل الدرجات إذا حصل القسم 1 على وزن 20/47. عند إعطاء الأقسام أوزانًا متساوية، يكون وزن القسم 1 أكبر من ذلك. يعطيه الترجيح حسب الأزواج 5/14 ويضع B في الصدارة. تحسب الطريقتان المقارنات داخل الأقسام.
تحقّق من افتراضات حساب درجة مجمّعة
عند جمع التنبؤات أولًا، تدخل أيضًا مقارنات بين حالات موجبة وسالبة من أقسام مختلفة. في مثال ثالث، يحصل A على 3/4 داخل كل قسم، ويحصل B على 2/4 داخل كل قسم. الدرجات المجمّعة الأصلية هي 13/16 لـ A و11/16 لـ B. تؤدي إضافة قيمة ثابتة لدرجات A في القسم الثاني إلى إبقاء الترتيب داخل القسمين مع خفض درجة A المجمّعة إلى 10/16. وتبقى درجة B عند 11/16 فتنقلب نتيجة المقارنة.
إذا كان السؤال عن الترتيب داخل كل قسم مخصّص للاختبار، فأبلغ عن درجات الأقسام والأوزان المختارة. وإذا جمعت التنبؤات، فاذكر ما يجعل مقاييس الدرجات قابلة للمقارنة بين النماذج المدرّبة على حدة. احتفظ بتوزيع الأقسام وأعداد الفئات وأعمدة الدرجات وقاعدة التجميع ونتيجة الاختيار ليتمكّن مراجع آخر من إعادة المقارنة.
تستخدم الأمثلة الثلاثة درجات افتراضية. التنبؤات بالتحقّق المتقاطع في scikit-learn · بحث عن تجميع نتائج التحقّق المتقاطع