Langkau ke kandungan utama

Menu

Penyelidikan

Cara menilai sistem yang boleh menolak kes

Bahasa: Bahasa Melayu

Gunakan senarai kes ujian yang sama untuk kedua-dua aliran kerja. Bagi setiap kes, catat ramalan utama dan tahap keyakinan, sama ada sistem menerima atau menolak kes, keputusan kaedah sandaran jika ada dan keputusan akhir. Rekod ini membolehkan anda membuat tiga semakan sebelum membandingkan kadar ketepatan.

Semak bilangan kes yang diterima dan cara sistem memilihnya. Liputan ialah bahagian kes yang diterima oleh sistem utama. Apabila ujian enam kes diulang, satu ambang keyakinan menyebabkan bilangan kes yang diterima melonjak daripada satu kepada lima kerana empat skor sama. Kuota tepat tiga kes boleh memisahkan kes yang mempunyai skor sama. Apabila kes disusun mengikut skor dan susunan fail menjadi pemutus bagi skor yang sama, perubahan susunan baris sahaja menghasilkan sifar atau dua kesilapan dalam tiga kes tersebut. Untuk ambang, laporkan liputan sebenar. Untuk kuota tepat, rekodkan peraturan bagi skor yang sama dan ID kes yang diterima. Ambang skor scikit-learn

Kira keputusan betul bagi kes yang diterima oleh kaedah sandaran. Dalam ujian semula berasingan dengan 12 kes, A dan B masing-masing menerima enam kes dan berkongsi tiga ID. A betul dalam enam kes yang diterimanya dan B betul dalam lima. Kaedah sandaran yang sama, dengan keputusan tetap bagi setiap kes, betul dalam dua kes yang ditolak oleh A dan lima kes yang ditolak oleh B. Bagi seluruh aliran kerja, B mendahului dengan 10 keputusan betul berbanding 8. Laporkan kadar ketepatan bagi kes yang diterima dan bagi seluruh senarai. Simpan versi kaedah sandaran dan keputusan kes yang ditolak bersama laporan. Penilaian bersama sistem ramalan dan kaedah sandaran

Semak hasil yang belum diketahui dan boleh mengubah kedudukan. Dalam ujian 12 kes, selepas tiga keputusan bagi kes yang diserahkan oleh kedua-dua sistem disembunyikan, B kekal mendahului dengan dua keputusan betul dalam semua kemungkinan kerana setiap keputusan tersembunyi dikongsi. Apabila enam keputusan bagi kes yang dikendalikan dengan cara berbeza disembunyikan, beza B tolak A ialah antara −4 dan +2. Gunakan pengiraan keputusan yang dikongsi hanya apabila kedua-dua serahan akan menggunakan keputusan yang sama bagi kes tersebut. Jika mana-mana aliran kerja boleh mendahului, utamakan usaha mendapatkan keputusan kes yang melalui laluan berbeza.

Sertakan jumlah kes, bilangan kes diterima, bilangan keputusan betul bagi setiap laluan dan bilangan keputusan yang tiada bersama skor. Jika data tidak lengkap, nyatakan andaian bagi julat yang masih mungkin.