# Cách đánh giá một hệ thống có thể từ chối ca

Dùng cùng một danh sách ca kiểm thử cho cả hai quy trình. Với mỗi ca, ghi lại dự đoán chính và mức độ tin cậy, hệ thống nhận hay từ chối ca đó, câu trả lời của phương án dự phòng nếu có và kết quả cuối cùng. Những thông tin này giúp bạn kiểm tra ba điều trước khi so sánh tỷ lệ trả lời đúng.

**Kiểm tra hệ thống nhận bao nhiêu ca và chọn chúng như thế nào.** Độ bao phủ là tỷ lệ ca được hệ thống chính nhận. Khi chạy lại bài thử có sáu ca, một ngưỡng độ tin cậy làm số ca được nhận nhảy từ một lên năm vì bốn điểm bằng nhau. Chỉ tiêu cố định đúng ba ca có thể tách nhóm đồng điểm. Khi xếp theo điểm và dựa vào thứ tự trong tệp để xử lý điểm bằng nhau, chỉ cần đổi thứ tự dòng là số lỗi trong ba ca đó có thể là không hoặc hai. Nếu dùng ngưỡng, hãy báo cáo độ bao phủ thực tế. Nếu dùng chỉ tiêu cố định, hãy ghi lại quy tắc xử lý đồng điểm và mã các ca được nhận. [Ngưỡng điểm trong scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Đếm số quyết định đúng của phương án dự phòng trong các ca được chuyển đến.** Trong một lần chạy lại riêng với 12 ca, A và B mỗi hệ thống nhận sáu ca và có chung ba mã ca. A trả lời đúng sáu ca đã nhận, còn B đúng năm. Cùng một phương án dự phòng với câu trả lời cố định cho mỗi ca đã trả lời đúng hai ca A từ chối và năm ca B từ chối. Tính cả quy trình, B dẫn trước với 10 quyết định đúng so với 8. Báo cáo tỷ lệ đúng trên các ca được nhận và trên toàn bộ danh sách. Lưu phiên bản của phương án dự phòng và kết quả các ca bị từ chối cùng báo cáo. [Đánh giá chung hệ thống dự đoán và phương án dự phòng](https://proceedings.mlr.press/v119/mozannar20b.html)

**Kiểm tra kết quả còn thiếu nào có thể làm thay đổi hệ thống dẫn trước.** Trong bài thử 12 ca, khi giấu ba kết quả của các ca mà cả hai hệ thống đều chuyển đi, B vẫn hơn hai quyết định đúng với mọi cách điền kết quả, vì mỗi kết quả bị giấu đều dùng chung. Khi giấu sáu kết quả ở các ca được xử lý theo hai hướng khác nhau, chênh lệch B trừ A nằm trong khoảng từ −4 đến +2. Chỉ tính theo kết quả dùng chung khi cả hai hệ thống sẽ dùng cùng một kết quả cho từng ca được chuyển đi. Nếu cả hai quy trình đều có thể dẫn trước, hãy ưu tiên tìm lại kết quả của các ca đi theo hai hướng khác nhau.

Kèm theo điểm số, hãy nêu tổng số ca, số ca được nhận, số quyết định đúng ở từng hướng và số kết quả còn thiếu. Nếu dữ liệu chưa đầy đủ, hãy nêu các giả định dùng để tính khoảng còn lại.

[Tải tập lệnh chạy lại và kết quả đã lưu (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
