Nghiên cứu
Cần kiểm tra gì trước khi so sánh macro-F1
Khi tính macro-F1, điểm của mỗi lớp trong phép tính trung bình có trọng số như nhau. Trước khi dùng điểm để chọn mô hình phân loại, hãy lưu ID của các trường hợp, phiên bản nhãn và thiết lập tính điểm. Ba phép thử dùng dữ liệu giả lập trong scikit-learn 1.7.2 cho thấy cùng một bộ dự đoán có thể dẫn đến các thứ hạng khác nhau. Định nghĩa và tùy chọn F1 trong scikit-learn
So sánh điểm ở cùng mức chi tiết của nhãn. Trong chín yêu cầu hỗ trợ mang nhãn hoàn tiền, hóa đơn và đăng nhập, B dẫn trước với 0.778 so với 0.556. Khi gộp hoàn tiền và hóa đơn thành thanh toán, bốn lỗi của A trở thành dự đoán đúng cho lớp thanh toán. Hai lỗi của B vẫn là nhầm giữa các lớp khác nhau. Khi đó A dẫn với 1.000 so với 0.750. Nếu cần so điểm giữa các phiên bản nhãn, hãy lưu cách ánh xạ và tính lại điểm cho cả hai hệ thống ở cùng mức chi tiết. Giữ nhãn và dự đoán ban đầu nếu nhiệm vụ vẫn cần phân biệt các nhãn đó.
Kiểm tra những lớp được tính vào từng điểm trung bình. Trong một nhóm khác không có trường hợp gian lận trong nhãn tham chiếu, A dự đoán gian lận một lần và nhận điểm F1 xác định bằng không cho lớp đó. Ở B, gian lận không xuất hiện trong nhãn tham chiếu lẫn dự đoán. Khi suy ra các lớp từ dữ liệu, B đạt 0.667 trên hai lớp và A đạt 0.600 trên ba lớp. Với danh sách ba lớp được nêu rõ và điểm F1 không xác định được tính là không, B giảm xuống 0.444. Nếu giữ nguyên danh sách và bỏ điểm F1 không xác định, B trở lại 0.667. Ghi lại danh sách lớp dự kiến, cách xử lý điểm không xác định, số nhãn tham chiếu và dự đoán của từng lớp, cũng như số lớp thực sự được tính vào trung bình.
Nêu rõ bạn gộp các trường hợp hay lấy trung bình điểm từng nhóm. Với hai nhóm cân bằng, mỗi nhóm tám trường hợp, trung bình hai điểm macro-F1 của nhóm cho A dẫn trước, 0.600 so với 0.564. Khi chấm chung cả 16 dự đoán, B dẫn với 0.625 so với 0.600. Khi các nhóm có cùng kích thước, trung bình theo trọng số bằng nhau hay theo số trường hợp đều cho cùng kết quả. Điểm của một lớp khi gộp các trường hợp dựa trên tổng số dương tính thật, dương tính giả và âm tính giả. Nếu báo cáo điểm gộp, hãy cộng các số đếm trước khi tính F1 cho từng lớp. Nếu báo cáo theo nhóm, hãy nêu điểm và trọng số của mỗi nhóm.
Lưu phiên bản ánh xạ nhãn và các số đếm trong ma trận nhầm lẫn của từng lớp cùng với điểm. Khi thiết lập giữa các báo cáo khác nhau, hãy chấm lại cả hai hệ thống với cùng tập trường hợp, mức chi tiết của nhãn, quy tắc xử lý điểm không xác định và cách tổng hợp trước khi diễn giải thứ hạng.