Chuyển đến nội dung chính

Menu

Nghiên cứu

Cách lập kế hoạch kiểm tra mẫu để phát hiện lỗi gán nhãn

Ngôn ngữ bài viết: Tiếng Việt

Xác định việc cần quyết định trước khi chọn cỡ mẫu. Nếu lô dữ liệu có một số nhãn sai xác định, bạn chấp nhận mức rủi ro nào rằng lần rà soát sẽ không tìm thấy lỗi nào? Điều đó phụ thuộc vào cách chọn hàng, lỗi người rà soát có thể phát hiện và cách chia công việc.

Các ví dụ phát triển từ lô dữ liệu giả định trong hướng dẫn đánh giá tập dữ liệu, gồm 120 hàng và sáu nhãn sai. Mỗi ví dụ xem xét một phần khác nhau của kế hoạch rà soát.

Tính rủi ro theo cách chọn hàng

Trước hết, giả sử mọi lỗi trong các hàng được xem đều được phát hiện. Một mẫu chọn đều gồm 20 hàng khác nhau bỏ sót cả sáu lỗi trong khoảng 32,63% số lần. Nếu chọn cứ mỗi sáu hàng một hàng từ điểm bắt đầu ngẫu nhiên, và các lỗi nằm cùng vị trí trong các nhóm sáu hàng liên tiếp, chỉ một trong sáu điểm bắt đầu có thể tìm thấy chúng. Trong cách sắp xếp này, rủi ro bỏ sót tất cả là 83,33%.

Chọn độc lập một hàng trong mỗi nhóm sáu hàng giảm rủi ro xuống 33,49% với cách sắp xếp đó. Đây cũng là mức rủi ro cao nhất của phương pháp chọn độc lập theo nhóm, bất kể sáu lỗi nằm ở đâu. Trong ví dụ có lỗi lặp theo chu kỳ, rủi ro chỉ xuống dưới 5% khi dùng cả sáu điểm bắt đầu khác nhau. Khi lấy mẫu đều và tìm được mọi lỗi đã xem, ngưỡng này đạt được ở 47 hàng.

Tách khâu chọn hàng khỏi khả năng phát hiện lỗi

Với 47 hàng lấy mẫu đều, khả năng không tìm thấy lỗi thật nào là 4,66% nếu mọi lỗi trong các hàng đã xem đều được phát hiện. Khả năng này là 10,06% nếu mỗi lỗi trong mẫu được phát hiện độc lập với xác suất 80%. Theo giả định độc lập đó, rủi ro lần đầu xuống dưới 5% ở 59 hàng.

Ở 47 hàng, cùng xác suất 80% cho mỗi lỗi có thể dẫn đến rủi ro bỏ sót tất cả từ 8,96% đến 23,73%, tùy những lỗi nào có thể được phát hiện cùng nhau. Phép tính giả định việc lấy mẫu đều độc lập với khả năng phát hiện từng lỗi. Trong trường hợp bất lợi nhất, quy trình có thể tìm cả sáu lỗi trong 80% số lần và không tìm thấy lỗi nào trong 20% còn lại. Ngay cả khi rà soát mỗi hàng một lần, khả năng không tìm thấy lỗi nào vẫn là 20%. Khi thử với lỗi đã biết, hãy ghi lại các lỗi được phát hiện cùng nhau trong mỗi lượt rà soát tương đương.

Đếm số hàng khác nhau và cơ hội phát hiện lỗi độc lập

Giả sử có nguồn lực cho 60 lượt rà soát hàng. Trong ví dụ này, mỗi người có thể tìm tất cả lỗi được giao trong 80% số lần và không tìm thấy lỗi nào trong các lần còn lại. Hàng được giao đồng đều và độc lập với khả năng tìm thấy lỗi.

Cách chia công việc rà soátSố hàng khác nhauKhả năng không tìm thấy lỗi thật nào
Một người rà soát 60 hàng6021,10%
Hai người rà soát độc lập, mỗi người xem một nhóm riêng gồm 30 hàng6010,33%
Hai người có thể phát hiện lỗi trong cùng các lượt, mỗi người xem một nhóm riêng gồm 30 hàng6021,10%
Hai người rà soát độc lập cùng xem 30 hàng giống nhau3020,36%

Ghi mã của các hàng trong mẫu, quy tắc chọn, ai đã xem từng hàng và giả định về phát hiện lỗi. Đối chiếu kế hoạch với ngưỡng rủi ro. Một lượt rà soát nhằm tìm ít nhất một lỗi thật cần kiểm tra riêng báo động sai, chất lượng giải quyết bất đồng và mức độ phù hợp với mục đích sử dụng.

Ví dụ lấy mẫu trong hướng dẫn đánh giá tập dữ liệu · Phương pháp lấy mẫu của Statistics Canada · Nghiên cứu về kiểm tra có thể bỏ sót lỗi