Riset
Cara mengevaluasi sistem yang bisa menolak kasus
Gunakan daftar kasus uji yang sama untuk kedua alur kerja. Untuk setiap kasus, catat prediksi utama dan tingkat keyakinannya, apakah sistem menerima atau menolak kasus itu, hasil dari cara cadangan jika ada, dan hasil akhir. Catatan ini membantu Anda melakukan tiga pemeriksaan sebelum membandingkan tingkat ketepatan.
Periksa berapa banyak kasus yang diterima dan bagaimana sistem memilihnya. Cakupan adalah bagian dari seluruh kasus yang diterima sistem utama. Saat uji enam kasus diulang, ambang keyakinan membuat jumlah kasus yang diterima melonjak dari satu ke lima karena empat skor sama. Kuota tepat tiga kasus bisa membagi kelompok dengan skor sama itu. Saat kasus diurutkan menurut skor dan urutan dalam berkas menentukan pilihan jika skor sama, hanya mengubah urutan baris menghasilkan nol atau dua kesalahan di antara tiga kasus itu. Untuk ambang, laporkan cakupan yang tercapai. Untuk kuota tetap, catat aturan untuk skor yang sama dan ID kasus yang diterima. Ambang skor scikit-learn
Hitung keputusan benar dari cara cadangan pada kasus yang diterimanya. Dalam uji ulang terpisah dengan 12 kasus, A dan B masing-masing menerima enam kasus dengan tiga ID yang sama. A benar pada enam kasus yang diterimanya, sedangkan B benar pada lima. Cara cadangan yang sama, dengan hasil tetap untuk tiap kasus, benar pada dua kasus yang ditolak A dan lima yang ditolak B. Dalam alur kerja lengkap, B unggul dengan 10 keputusan benar dibandingkan 8. Laporkan tingkat ketepatan untuk kasus yang diterima dan seluruh daftar. Simpan versi cara cadangan dan hasil kasus yang ditolak bersama laporan. Evaluasi gabungan sistem prediksi dan cara cadangan
Periksa hasil yang hilang mana yang bisa mengubah sistem yang unggul. Dalam uji 12 kasus, menyembunyikan tiga hasil dari kasus yang diteruskan kedua sistem membuat B tetap unggul dua keputusan benar untuk setiap kemungkinan pengisian, karena setiap hasil yang disembunyikan sama untuk keduanya. Saat enam hasil dari kasus yang ditangani secara berbeda disembunyikan, selisih B dikurangi A berkisar dari −4 hingga +2. Gunakan perhitungan hasil bersama hanya jika kedua sistem akan memakai hasil yang sama untuk tiap kasus yang diteruskan. Jika kedua alur kerja berpeluang unggul, cari lebih dulu hasil kasus yang mengikuti jalur berbeda.
Cantumkan jumlah total kasus, jumlah yang diterima, keputusan benar di tiap jalur, dan jumlah hasil yang hilang bersama skor. Jika data belum lengkap, jelaskan asumsi yang digunakan untuk kisaran yang tersisa.