Chuyển đến nội dung chính

Menu

Nghiên cứu

Cách kiểm tra AUROC từ kiểm định chéo trước khi chọn mô hình

Ngôn ngữ bài viết: Tiếng Việt

Bắt đầu từ phép so sánh bạn cần. Nó có bao gồm mọi phần kiểm thử bắt buộc không? Mỗi phần nên có trọng số như nhau hay mỗi cặp so sánh được nên có trọng số như nhau? Nếu điểm đến từ các mô hình huấn luyện riêng, hãy xác định liệu có thể so điểm giữa các phần không.

Kiểm tra mọi phần bắt buộc đều có điểm

Với AUROC nhị phân, đếm các trường hợp dương và âm trong mỗi phần kiểm thử. Lưu ID đã được chấm, điểm theo từng phần của mỗi ứng viên và các cảnh báo khi chạy.

Trong tìm kiếm lưới giả định với mười trường hợp, hai phần có cả hai lớp và phần thứ ba chỉ có lớp âm. scikit-learn 1.7.2 cảnh báo và trả về NaN cho cả hai ứng viên ở phần thứ ba. Cả hai điểm trung bình đều là NaN và cả hai ứng viên xếp hạng 1. Tìm kiếm huấn luyện lại ứng viên đứng đầu danh sách, kể cả với error_score="raise". Đảo thứ tự sẽ đổi ứng viên được chọn.

Trong một chẩn đoán riêng chỉ dùng hai phần có điểm xác định, điểm trung bình là 1.00 cho A và 0.375 cho B. Cả hai thứ tự đều chọn A. Nếu báo cáo chẩn đoán này, hãy ghi rõ phạm vi kiểm định hẹp hơn. Xử lý độ bao phủ của các phần bắt buộc ban đầu trước khi dùng kết quả tìm kiếm để chọn mô hình.

Kiểm tra cách gán trọng số cho điểm từng phần

Với AUROC nhị phân không trọng số, một phần kiểm thử có p trường hợp dương và n trường hợp âm tạo ra p × n phép so sánh dương với âm. AUROC trong phần cho biết tần suất điểm dương cao hơn, tính nửa điểm nếu hòa. Lấy trung bình theo phần cho mỗi phần cùng trọng số. Gán trọng số theo cặp trong phần cho mỗi cặp hợp lệ cùng trọng số.

Trong một ví dụ giả định khác, cả hai phần có sáu hàng. Phần 1 có một trường hợp dương và năm âm nên có năm cặp. Phần 2 có ba trường hợp mỗi lớp nên có chín cặp. A đạt 5/5 và 4/9. B đạt 2/5 và 8/9.

Cách tínhABĐiểm cao hơn
Trọng số bằng nhau cho mỗi phần13/1829/45A
Trọng số bằng nhau cho mỗi cặp trong cùng phần9/1410/14B

Trong phép so sánh này, điểm hòa nếu phần 1 có trọng số 20/47. Với trọng số bằng nhau theo phần, phần 1 có trọng số cao hơn. Gán trọng số theo cặp cho phần đó 5/14 và đưa B lên trước. Cả hai cách đều tính các phép so sánh trong từng phần.

Kiểm tra giả định khi gộp điểm

Gộp dự đoán trước cũng so sánh các trường hợp dương và âm từ các phần khác nhau. Trong ví dụ thứ ba, A đạt 3/4 ở mỗi phần và B đạt 2/4 ở mỗi phần. Điểm gộp ban đầu là 13/16 cho A và 11/16 cho B. Cộng một hằng số vào điểm của A ở phần thứ hai giữ nguyên hai thứ tự trong phần nhưng giảm điểm gộp của A xuống 10/16. B vẫn ở 11/16 và kết quả so sánh đảo ngược.

Nếu câu hỏi là thứ hạng trong mỗi phần dành riêng để kiểm thử, hãy báo cáo điểm theo phần và trọng số đã chọn. Nếu gộp dự đoán, hãy ghi lại vì sao thang điểm từ các lần huấn luyện riêng có thể so sánh được. Giữ thông tin chia phần, số trường hợp theo lớp, cột điểm, quy tắc tổng hợp và kết quả chọn để người khác có thể làm lại phép so sánh.

Ba ví dụ đều dùng điểm giả định. Dự đoán từ kiểm định chéo trong scikit-learn · Nghiên cứu về tổng hợp kết quả kiểm định chéo