Riset
Cara merencanakan pemeriksaan sampel untuk menemukan kesalahan label
Tentukan keputusan yang perlu didukung sebelum memilih ukuran sampel. Jika kumpulan data berisi sejumlah label yang salah, seberapa besar risiko yang dapat Anda terima bahwa pemeriksaan tidak menemukan satu pun? Jawabannya bergantung pada cara Anda memilih baris, kesalahan yang dapat ditemukan pemeriksa, dan pembagian tugas.
Contoh berikut mengembangkan kasus rekaan dalam panduan evaluasi set data, dengan 120 baris dan enam label yang salah. Setiap contoh membahas bagian yang berbeda dari rencana pemeriksaan.
Hitung risiko sesuai cara memilih baris
Mula-mula, anggap setiap kesalahan pada baris yang diperiksa dapat ditemukan. Sampel acak seragam berisi 20 baris berbeda melewatkan keenam kesalahan pada sekitar 32,63% percobaan. Jika Anda mengambil setiap baris keenam dari posisi awal acak dan kesalahan berada di posisi yang sama dalam blok berurutan berisi enam baris, hanya satu dari enam posisi awal yang dapat menemukannya. Pada susunan itu, peluang melewatkan semuanya adalah 83,33%.
Memilih satu baris secara independen dari setiap blok enam baris mengurangi risiko itu menjadi 33,49% pada susunan tersebut. Angka itu juga risiko tertinggi untuk metode blok independen, di mana pun keenam kesalahan berada. Pada contoh berpola berulang, risiko baru turun di bawah 5% jika keenam posisi awal yang berbeda digunakan. Dengan sampel seragam, ambang itu tercapai pada 47 baris apabila setiap kesalahan pada baris yang diperiksa ditemukan.
Pisahkan pemilihan baris dari kemampuan menemukan kesalahan
Dari 47 baris yang dipilih secara seragam, peluang tidak menemukan kesalahan nyata adalah 4,66% jika setiap kesalahan yang diperiksa ditemukan. Peluangnya 10,06% jika setiap kesalahan dalam sampel dapat ditemukan secara independen dengan probabilitas 80%. Dengan asumsi independensi tersebut, peluang pertama kali turun di bawah 5% pada 59 baris.
Pada 47 baris, peluang 80% per kesalahan itu dapat menghasilkan risiko melewatkan semuanya antara 8,96% dan 23,73%, tergantung kesalahan mana yang bisa ditemukan bersamaan. Perhitungan ini mengasumsikan pemilihan seragam tidak bergantung pada kesalahan mana yang bisa ditemukan. Dalam keadaan paling tidak menguntungkan, semua enam kesalahan dapat ditemukan pada 80% percobaan dan tidak ada yang ditemukan pada 20% lainnya. Memeriksa setiap baris sekali pun menyisakan peluang 20% untuk tidak menemukan apa pun. Dalam uji dengan kesalahan yang sudah diketahui, catat kesalahan mana yang ditemukan bersama di setiap pemeriksaan yang dapat dibandingkan.
Hitung baris yang berbeda dan peluang independen untuk menemukan kesalahan
Bayangkan jatah 60 kali pemeriksaan baris. Dalam contoh ini, setiap pemeriksa dapat menemukan semua kesalahan yang ditugaskan kepadanya pada 80% percobaan, dan tidak ada pada percobaan lainnya. Baris dibagikan secara seragam dan terlepas dari kesalahan mana yang dapat ditemukan.
| Pembagian pemeriksaan | Baris yang berbeda | Peluang tidak menemukan kesalahan nyata |
|---|---|---|
| Satu pemeriksa memeriksa 60 baris | 60 | 21,10% |
| Dua pemeriksa independen memeriksa kelompok terpisah yang masing-masing berisi 30 baris | 60 | 10,33% |
| Dua pemeriksa yang dapat menemukan kesalahan pada percobaan yang sama memeriksa kelompok terpisah yang masing-masing berisi 30 baris | 60 | 21,10% |
| Dua pemeriksa independen memeriksa 30 baris yang sama | 30 | 20,36% |
Catat ID sampel, aturan pemilihan, siapa yang melihat setiap baris, dan asumsi deteksi. Bandingkan rencana dengan batas risiko. Pemeriksaan yang bertujuan menemukan setidaknya satu kesalahan nyata memerlukan pengecekan tersendiri atas peringatan palsu, mutu penyelesaian perbedaan pendapat, dan kecocokan dengan tujuan penggunaan.
Contoh pengambilan sampel dalam panduan evaluasi set data · Metode pengambilan sampel Statistics Canada · Penelitian tentang pemeriksaan yang dapat melewatkan kesalahan