Penyelidikan
Cara menyemak AUROC pengesahan silang sebelum memilih model
Mulakan dengan perbandingan yang diperlukan. Adakah semua bahagian ujian wajib diliputi? Perlukah setiap bahagian mempunyai pemberat yang sama, atau setiap pasangan yang boleh dibandingkan? Jika skor datang daripada model yang dilatih berasingan, tentukan sama ada penilaian menyokong perbandingan antara bahagian.
Pastikan semua bahagian wajib mempunyai skor
Untuk AUROC perduaan, semak bilangan kes positif dan negatif di setiap bahagian ujian. Simpan ID pengesahan yang diberi skor, skor setiap calon bagi setiap bahagian dan amaran daripada ujian.
Dalam carian grid rekaan dengan sepuluh kes, dua bahagian mengandungi kedua-dua kelas dan bahagian ketiga hanya mengandungi kes negatif. scikit-learn 1.7.2 memberi amaran dan memulangkan NaN untuk kedua-dua calon di bahagian ketiga. Kedua-dua purata ialah NaN dan kedua-dua calon berada di kedudukan 1. Carian melatih semula calon pertama, termasuk dengan error_score="raise". Membalikkan susunan calon menukar pilihan.
Dalam diagnostik berasingan yang terhad kepada dua bahagian dengan skor yang ditakrifkan, puratanya 1.00 untuk A dan 0.375 untuk B. A dipilih dalam kedua-dua susunan. Jika melaporkan diagnostik ini, nyatakan skop pengesahan yang lebih kecil. Selesaikan isu liputan bahagian asal yang diperlukan sebelum menggunakan carian untuk memilih pemenang.
Semak cara skor bahagian diberi pemberat
Bagi AUROC perduaan tanpa pemberat, bahagian ujian dengan p kes positif dan n kes negatif mempunyai p × n perbandingan positif-negatif. AUROC dalam bahagian menunjukkan kekerapan kes positif mendapat skor lebih tinggi, dengan setengah mata apabila seri. Purata mengikut bahagian memberi pemberat sama kepada setiap bahagian. Pemberat mengikut pasangan dalam bahagian memberi pemberat sama kepada setiap pasangan yang layak.
Dalam contoh rekaan lain, kedua-dua bahagian mempunyai enam baris. Bahagian 1 mempunyai satu kes positif dan lima negatif, jadi menyumbang lima pasangan. Bahagian 2 mempunyai tiga daripada setiap kelas dan menyumbang sembilan. A mendapat 5/5 dan 4/9. B mendapat 2/5 dan 8/9.
| Pengiraan | A | B | Skor lebih tinggi |
|---|---|---|---|
| Pemberat sama bagi setiap bahagian | 13/18 | 29/45 | A |
| Pemberat sama bagi setiap pasangan dalam bahagian | 9/14 | 10/14 | B |
Dalam perbandingan ini skor seri apabila bahagian 1 mendapat pemberat 20/47. Pemberat sama mengikut bahagian memberi bahagian 1 pemberat lebih besar. Pemberat mengikut pasangan memberinya 5/14 dan meletakkan B di hadapan. Kedua-dua kaedah mengira perbandingan dalam bahagian.
Semak andaian apabila menggabungkan skor
Menggabungkan ramalan dahulu turut membandingkan kes positif dan negatif daripada bahagian berlainan. Dalam contoh ketiga, A mendapat 3/4 dalam setiap bahagian dan B mendapat 2/4 dalam setiap bahagian. Skor gabungan asal ialah 13/16 untuk A dan 11/16 untuk B. Menambah nilai tetap pada skor A di bahagian kedua mengekalkan kedua-dua susunan dalaman tetapi menurunkan skor gabungan A kepada 10/16. B kekal pada 11/16 dan hasil perbandingan berbalik.
Jika soalan tentang kedudukan dalam setiap bahagian yang dikhaskan untuk ujian, laporkan skor bahagian dan pemberat yang dipilih. Jika menggabungkan ramalan, catat sebab skala skor daripada latihan berasingan boleh dibandingkan. Simpan pembahagian, bilangan per kelas, lajur skor, aturan penggabungan dan keputusan pemilihan supaya orang lain dapat mengulang perbandingan.
Ketiga-tiga contoh menggunakan skor rekaan. Ramalan pengesahan silang dalam scikit-learn · Kajian penggabungan hasil pengesahan silang