Lewati ke konten utama

Menu

Riset

Cara memeriksa AUROC validasi silang sebelum memilih model

Bahasa: Bahasa Indonesia

Mulai dari perbandingan yang diperlukan. Apakah perbandingan mencakup semua bagian uji wajib? Apakah tiap bagian harus berbobot sama, atau tiap pasangan yang bisa dibandingkan? Jika skor berasal dari model yang dilatih terpisah, tentukan apakah evaluasi mendukung perbandingan antarbagian.

Pastikan semua bagian wajib memiliki skor

Untuk AUROC biner, periksa jumlah kasus positif dan negatif di tiap bagian uji. Simpan ID validasi yang diberi skor, skor tiap kandidat per bagian, dan peringatan dari pengujian.

Dalam pencarian grid rekaan dengan sepuluh kasus, dua bagian memiliki kedua kelas dan bagian ketiga hanya memiliki kasus negatif. scikit-learn 1.7.2 memberi peringatan dan mengembalikan NaN untuk kedua kandidat di bagian ketiga. Kedua rata-rata adalah NaN dan kedua kandidat mendapat peringkat 1. Pencarian melatih ulang kandidat pertama, termasuk saat memakai error_score="raise". Membalik urutan kandidat mengubah pilihan.

Dalam diagnosis terpisah yang hanya memakai dua bagian dengan skor terdefinisi, rata-ratanya 1.00 untuk A dan 0.375 untuk B. A terpilih pada kedua urutan. Jika melaporkan diagnosis ini, sebutkan cakupan validasi yang lebih sempit. Selesaikan masalah cakupan bagian yang awalnya diperlukan sebelum memakai pencarian untuk memilih pemenang.

Periksa bagaimana skor tiap bagian diberi bobot

Untuk AUROC biner tanpa pembobotan, bagian uji dengan p kasus positif dan n kasus negatif memiliki p × n perbandingan positif dan negatif. AUROC di dalam bagian menunjukkan seberapa sering kasus positif berskor lebih tinggi, dengan setengah poin jika seri. Merata-ratakan per bagian memberi setiap bagian bobot yang sama. Pembobotan berdasarkan pasangan dalam bagian memberi setiap pasangan yang memenuhi syarat bobot yang sama.

Dalam contoh rekaan lain, kedua bagian memiliki enam baris. Bagian 1 punya satu kasus positif dan lima negatif, jadi menghasilkan lima pasangan. Bagian 2 punya tiga dari tiap kelas dan menghasilkan sembilan. A mendapat 5/5 dan 4/9. B mendapat 2/5 dan 8/9.

PerhitunganABSkor lebih tinggi
Bobot sama untuk setiap bagian13/1829/45A
Bobot sama untuk setiap pasangan dalam bagian9/1410/14B

Pada perbandingan ini, skor seri jika bagian 1 mendapat bobot 20/47. Bobot yang sama per bagian memberi bagian 1 bobot lebih besar. Pembobotan per pasangan memberinya 5/14 dan membuat B unggul. Kedua cara menghitung perbandingan di dalam bagian.

Periksa asumsi saat semua skor digabung

Menggabungkan prediksi terlebih dahulu juga membandingkan kasus positif dan negatif dari bagian berbeda. Dalam contoh ketiga, A mendapat 3/4 di setiap bagian dan B mendapat 2/4 di setiap bagian. Skor gabungan awal adalah 13/16 untuk A dan 11/16 untuk B. Menambahkan nilai tetap pada skor A di bagian kedua menjaga kedua urutan internal, tetapi menurunkan skor gabungan A ke 10/16. B tetap 11/16 dan hasil perbandingan berbalik.

Jika pertanyaannya tentang peringkat di setiap bagian yang disisihkan untuk pengujian, laporkan skor per bagian dan bobot yang dipilih. Jika menggabungkan prediksi, catat alasan skala skor dari pelatihan terpisah bisa dibandingkan. Simpan pembagian, jumlah per kelas, kolom skor, aturan penggabungan, dan hasil pemilihan agar orang lain bisa mengulang perbandingannya.

Ketiga contoh memakai skor rekaan. Prediksi validasi silang di scikit-learn · Riset tentang penggabungan hasil validasi silang