Ana içeriğe geç

Menü

Araştırma

Model seçmeden önce çapraz doğrulama AUROC değeri nasıl kontrol edilir?

Dil: Türkçe

İhtiyacınız olan karşılaştırmayla başlayın. Gerekli tüm test bölümlerini kapsıyor mu? Her bölüm mü, yoksa karşılaştırılabilen her çift mi eşit ağırlık almalı? Puanlar ayrı ayrı eğitilmiş modellerden geliyorsa değerlendirmenin bölümler arasında karşılaştırmayı destekleyip desteklemediğini belirleyin.

Her gerekli bölümün puanı olduğunu kontrol edin

İkili AUROC için her test bölümünde pozitif ve negatif vaka sayılarını kontrol edin. Puanlanan doğrulama kimliklerini, adayların bölüm başına puanlarını ve çalıştırma uyarılarını saklayın.

On vakalı kurgusal ızgara aramasında iki bölüm her iki sınıfı, üçüncü bölüm yalnızca negatif vakaları içerir. scikit-learn 1.7.2 bir uyarı verir ve üçüncü bölümde iki aday için de NaN döndürür. İki ortalama da NaN olur ve iki aday da sıra 1 alır. Arama error_score="raise" ayarıyla bile listedeki ilk adayı yeniden eğitir. Sırayı tersine çevirmek seçimi değiştirir.

Puanı tanımlı iki bölümle sınırlı ayrı bir kontrolde ortalamalar A için 1.00, B için 0.375 olur. Her iki sırada da A seçilir. Bu kontrolü raporlarsanız doğrulama kapsamının daha dar olduğunu kaydedin. Bir kazanan seçmek için aramayı kullanmadan önce başta gereken bölümlerin kapsam sorununu çözün.

Bölüm puanlarının ağırlıklarını kontrol edin

Ağırlıklandırılmamış ikili AUROC için p pozitif ve n negatif vaka içeren bir test bölümünde p × n pozitif-negatif karşılaştırması vardır. Bölüm içi AUROC, pozitif vakanın ne sıklıkta daha yüksek puan aldığını belirtir. Eşitlik yarım puan getirir. Bölüm ortalaması her bölüme eşit ağırlık verir. Bölüm içi çift ağırlıklandırması ise her uygun çifte eşit ağırlık verir.

Başka bir kurgusal örnekte iki bölümde de altı satır vardır. Bölüm 1, bir pozitif ve beş negatif vakadan beş çift sağlar. Bölüm 2, her sınıftan üç vaka ile dokuz çift sağlar. A, 5/5 ve 4/9 alır. B, 2/5 ve 8/9 alır.

HesaplamaABDaha yüksek puan
Bölüm başına eşit ağırlık13/1829/45A
Bölüm içindeki çift başına eşit ağırlık9/1410/14B

Bu karşılaştırmada bölüm 1, 20/47 ağırlık aldığında puanlar eşittir. Bölümlere eşit ağırlık vermek bölüm 1'e bundan daha fazla ağırlık verir. Çiftlere göre ağırlıklandırma ona 5/14 verir ve B'yi öne geçirir. İki hesaplama da bölüm içindeki karşılaştırmaları sayar.

Puanları birleştirmenin ne varsaydığını kontrol edin

Önce tahminleri birleştirmek farklı bölümlerdeki pozitif ve negatif vakaları da karşılaştırır. Üçüncü örnekte A her bölümde 3/4, B her bölümde 2/4 alır. İlk birleşik puanlar A için 13/16, B için 11/16'dır. A'nın ikinci bölümdeki puanlarına sabit bir değer eklemek iki bölümün kendi sırasını korur, ancak A'nın birleşik puanını 10/16'ya düşürür. B, 11/16'da kalır ve karşılaştırma tersine döner.

Soru ayrı tutulan her test bölümündeki sıralamayla ilgiliyse bölüm puanlarını ve seçilen ağırlıkları bildirin. Tahminleri birleştiriyorsanız ayrı eğitimlerden gelen puan ölçeklerinin neden karşılaştırılabilir olduğunu kaydedin. Başka biri karşılaştırmayı tekrarlayabilsin diye bölüm atamasını, sınıf sayılarını, puan sütunlarını, birleştirme kuralını ve seçim sonucunu birlikte saklayın.

Üç örnekte de kurgusal puanlar kullanılır. scikit-learn ile çapraz doğrulama tahminleri · Çapraz doğrulama sonuçlarını birleştirme araştırması