Langkau ke kandungan utama

Menu

Penyelidikan

Perkara yang perlu disemak sebelum membandingkan macro-F1

Bahasa: Bahasa Melayu

Macro-F1 memberikan pemberat yang sama kepada skor setiap kelas yang dikira dalam purata. Sebelum menggunakannya untuk memilih model pengelasan, catat ID kes, versi label dan tetapan pemarkahan. Tiga ujian dengan data rekaan dalam scikit-learn 1.7.2 menunjukkan bagaimana ramalan yang sama boleh menghasilkan kedudukan yang berbeza. Takrif dan pilihan F1 dalam scikit-learn

Bandingkan skor pada tahap perincian label yang sama. Dalam sembilan kes khidmat pelanggan berlabel bayaran balik, invois dan log masuk, B mendahului dengan 0.778 berbanding 0.556. Apabila bayaran balik dan invois digabungkan sebagai pengebilan, empat kesilapan A menjadi ramalan yang betul untuk pengebilan. Dua kesilapan B masih melibatkan kategori yang berbeza. A kemudian mendahului dengan 1.000 berbanding 0.750. Jika anda perlu membandingkan skor antara versi label, simpan pemetaan dan kira semula skor kedua-dua sistem pada tahap perincian yang sama. Simpan label dan ramalan asal jika perbezaan itu masih penting untuk tugas tersebut.

Semak kelas yang termasuk dalam setiap purata. Dalam kumpulan lain tanpa kes penipuan dalam label rujukan, A meramalkan penipuan sekali dan mendapat skor F1 yang sah dan bernilai sifar untuk kelas itu. B tidak mempunyai kes penipuan dalam rujukan atau ramalan. Apabila kelas ditentukan daripada data, B mendapat 0.667 daripada dua kelas dan A mendapat 0.600 daripada tiga. Dengan senarai tiga kelas yang dinyatakan dengan jelas dan sifar untuk F1 yang tidak ditakrifkan, B jatuh ke 0.444. Dengan senarai yang sama dan F1 yang tidak ditakrifkan dikecualikan, B kembali ke 0.667. Catat senarai kelas yang dikehendaki, peraturan untuk skor yang tidak ditakrifkan, bilangan rujukan dan ramalan bagi setiap kelas serta bilangan kelas yang benar-benar diambil kira dalam purata.

Nyatakan sama ada anda menggabungkan kes atau mengambil purata skor kumpulan. Dalam dua kumpulan seimbang yang masing-masing ada lapan kes, purata kedua-dua skor macro-F1 meletakkan A di hadapan, 0.600 berbanding 0.564. Apabila semua 16 ramalan dinilai sekali gus, B mendahului dengan 0.625 berbanding 0.600. Jika saiz kumpulan sama, purata tidak berubah sama ada anda menggunakan pemberat sama rata atau mengikut bilangan kes. Skor gabungan bagi setiap kelas menggunakan jumlah positif benar, positif palsu dan negatif palsu. Untuk laporan gabungan, jumlahkan bilangan ini sebelum mengira F1 bagi setiap kelas. Untuk laporan mengikut kumpulan, tunjukkan skor dan pemberat setiap kumpulan.

Simpan versi pemetaan label dan bilangan daripada matriks kekeliruan bagi setiap kelas bersama skor. Jika tetapan berbeza antara laporan, nilai semula kedua-dua sistem dengan set kes, tahap perincian label, peraturan untuk skor yang tidak ditakrifkan dan kaedah penggabungan yang sama sebelum mentafsir kedudukan.