Lewati ke konten utama

Menu

Riset

Yang perlu diperiksa sebelum membandingkan macro-F1

Bahasa: Bahasa Indonesia

Macro-F1 memberi bobot yang sama pada skor setiap kelas yang masuk ke rata-rata. Sebelum memakai ukuran ini untuk memilih model klasifikasi, catat ID kasus, versi label, dan pengaturan penilaian. Tiga pengujian dengan data rekaan di scikit-learn 1.7.2 menunjukkan bagaimana prediksi yang sama bisa menghasilkan peringkat yang berbeda. Definisi dan opsi F1 di scikit-learn

Bandingkan skor pada tingkat perincian label yang sama. Pada sembilan kasus dukungan pelanggan dengan label pengembalian dana, tagihan, dan masuk akun, B unggul 0.778 berbanding 0.556. Setelah pengembalian dana dan tagihan digabung menjadi penagihan, empat kesalahan A berubah menjadi prediksi yang benar untuk kategori penagihan. Dua kesalahan B masih melibatkan kategori yang berbeda. A lalu unggul 1.000 berbanding 0.750. Jika perlu membandingkan skor dari versi label yang berbeda, simpan pemetaan dan hitung ulang skor kedua sistem dengan tingkat perincian yang sama. Pertahankan label dan prediksi asli jika perbedaannya masih penting untuk tugas tersebut.

Periksa kelas yang dihitung dalam setiap rata-rata. Dalam kelompok lain tanpa kasus penipuan pada label acuan, A sekali memprediksi penipuan dan mendapat nilai F1 nol yang terdefinisi untuk kelas itu. Di B, penipuan tidak muncul dalam acuan maupun prediksi. Ketika kelas diambil dari data, B mendapat 0.667 dari dua kelas dan A mendapat 0.600 dari tiga. Dengan daftar tiga kelas yang ditetapkan dan nilai nol untuk F1 yang tidak terdefinisi, skor B turun ke 0.444. Dengan daftar yang sama, ketika F1 yang tidak terdefinisi dikeluarkan dari rata-rata, B kembali ke 0.667. Catat daftar kelas yang dimaksud, aturan untuk skor yang tidak terdefinisi, jumlah acuan dan prediksi di tiap kelas, serta jumlah kelas yang benar-benar masuk ke rata-rata.

Nyatakan apakah kasus digabung atau skor kelompok dirata-ratakan. Dalam dua kelompok seimbang yang masing-masing berisi delapan kasus, rata-rata kedua skor macro-F1 menempatkan A di depan, 0.600 berbanding 0.564. Saat semua 16 prediksi dinilai sekaligus, B unggul 0.625 berbanding 0.600. Jika ukuran kelompok sama, rata-ratanya sama baik bobotnya setara maupun mengikuti jumlah kasus. Skor gabungan sebuah kelas menggunakan total positif benar, positif palsu, dan negatif palsu. Untuk laporan gabungan, jumlahkan hitungan itu sebelum menghitung F1 setiap kelas. Untuk laporan per kelompok, tampilkan skor dan bobot setiap kelompok.

Simpan versi pemetaan label dan hitungan pada matriks konfusi untuk setiap kelas bersama skor. Jika pengaturan antar laporan berbeda, nilai ulang kedua sistem dengan kasus, tingkat perincian label, aturan skor yang tidak terdefinisi, dan cara penggabungan yang sama sebelum menafsirkan peringkat.