Ana içeriğe geç

Menü

Araştırma

Vakaları reddedebilen bir sistem nasıl değerlendirilir?

Dil: Türkçe

Her iki iş akışında da aynı test vakası listesini kullanın. Her vaka için ana tahmini ve güven düzeyini, sistemin vakayı kabul mü reddetmiş mi olduğunu, varsa yedek yöntemin yanıtını ve nihai sonucu kaydedin. Bu kayıtlarla doğruluk oranlarını karşılaştırmadan önce üç kontrol yapabilirsiniz.

Sistemin kaç vaka kabul ettiğini ve bunları nasıl seçtiğini kontrol edin. Kapsama, ana sistemin kabul ettiği vakaların oranıdır. Altı vakalık bir test tekrarlandığında, dört puan eşit olduğu için bir güven eşiğinde kabul edilen vaka sayısı birden beşe sıçradı. Tam üç vakalık bir kota, eşit puanlı vakaları bölebiliyordu. Vakalar puana göre sıralanıp eşitlikler dosya sırasına göre çözüldüğünde yalnızca satır sırasını değiştirmek bu üç vakada sıfır ya da iki hataya yol açtı. Eşik kullanıyorsanız gerçekleşen kapsamayı bildirin. Kesin kota kullanıyorsanız eşitlik kuralını ve kabul edilen vaka kimliklerini kaydedin. scikit-learn puan eşikleri

Yedek yöntemin aldığı vakalardaki doğru kararları sayın. 12 vakalık ayrı bir test tekrarında A ve B altışar vaka kabul etti ve üç vaka kimliği ortaktı. A kabul ettiği altı vakada, B ise beş vakada doğru yanıt verdi. Her vaka için sabit yanıt veren aynı yedek yöntem, A’nın reddettiği iki vakada ve B’nin reddettiği beş vakada doğru yanıt verdi. Tüm iş akışı hesaba katıldığında B, 10 doğru kararla A’nın 8 doğru kararını geçti. Hem kabul edilen vakalardaki hem de tam listedeki doğruluk oranını bildirin. Yedek yöntemin sürümünü ve reddedilen vakaların sonuçlarını raporla birlikte saklayın. Tahmin sistemi ve yedek yöntemin birlikte değerlendirilmesi

Hangi eksik sonuçların öndeki sistemi değiştirebileceğini kontrol edin. 12 vakalık testte iki sistemin de devrettiği vakalardan üç sonuç gizlenince B her olası tamamlamada iki doğru karar önde kaldı, çünkü her gizli sonuç ortaktı. Sistemlerin farklı yollar izlediği vakalardan altı sonuç gizlenince B eksi A farkı −4 ile +2 arasında değişti. Paylaşılan sonuç hesabını yalnızca iki sistem de devrettiği her vaka için aynı sonucu kullanacaksa uygulayın. İki iş akışından herhangi biri öne geçebiliyorsa önce farklı yolları izleyen vakaların sonuçlarını bulun.

Puanlarla birlikte toplam vaka sayısını, kabul edilen vaka sayısını, her yoldaki doğru karar sayısını ve eksik sonuç sayısını verin. Veriler eksikse kalan olası aralığın dayandığı varsayımları belirtin.