Chuyển đến nội dung chính

Menu

Nghiên cứu

Cách kiểm tra độ bao phủ lớp trước khi chấp nhận cách chia theo nhóm

Ngôn ngữ bài viết: Tiếng Việt

Giữ các ví dụ liên quan trong cùng một nhóm nếu chúng cần ở cùng phía khi chia dữ liệu huấn luyện và kiểm thử. Nhóm có thể là cuộc trò chuyện, khách hàng hoặc đơn vị khác do quy trình đánh giá quy định. Trước khi chọn cách chia, ghi rõ mỗi phần kiểm thử cần những lớp nào và số lượng tối thiểu. Có đủ lớp và cân bằng chính xác là hai yêu cầu khác nhau.

Kiểm tra kết quả chia

Lưu nhóm nào thuộc phần nào và đếm số trường hợp của từng lớp trong mỗi phần kiểm thử. Kiểm tra riêng việc giữ nguyên nhóm và việc có đủ lớp. Nếu thiếu lớp bắt buộc, hãy khoan chấp nhận cách chia và xem cách phân bổ nguyên nhóm khác có đạt yêu cầu không.

Trong ví dụ giả định có 24 hàng, StratifiedGroupKFold của scikit-learn 1.7.2 chia thành ba phần mà không xáo trộn. Một bộ ID nhóm dạng số cho các cặp số lượng (4, 2), (4, 6) và (4, 4). Đảo các ID cho ra (4, 6), (4, 0) và (4, 6), với cùng các hàng, nhãn và thành viên nhóm. Kết quả đầu tiên có đủ lớp nhưng không cân bằng chính xác. Kết quả thứ hai không đạt yêu cầu nào. Ví dụ này có thể chia chính xác thành (4, 4).

Kiểm tra xem yêu cầu có khả thi không

Nếu cả hai phần cần đủ lớp, mỗi lớp phải có mặt trong ít nhất hai nhóm độc lập. Dựa vào lớp nào nằm trong nhóm nào để kiểm tra xem tất cả lớp có thể đồng thời xuất hiện trong cả hai phần không.

Trong hai ví dụ riêng, mỗi ví dụ có 12 hàng, mỗi lớp xuất hiện ở hai nhóm và mỗi nhóm có hai hàng. Vì vậy hai nhóm của mỗi lớp phải vào hai phần đối diện nhau. Nếu sáu cặp tạo thành vòng, chia các nhóm luân phiên sẽ có đủ lớp. Nếu chúng tạo thành hai tam giác, ba nhóm trong mỗi tam giác đều phải ở phía đối diện hai nhóm còn lại. Mỗi tam giác buộc phải thiếu lớp. Xét đủ 62 cách phân vào hai phần có tên và không rỗng, vòng có hai cách với đủ lớp còn hai tam giác không có cách nào.

Chọn cách sửa phù hợp với những gì đã cố định

Trong ví dụ hai tam giác, phần đầu tiên thiếu lớp 5 và phần thứ hai thiếu lớp 1. Nếu giữ nguyên cách phân nhóm hiện tại, hai nhóm độc lập mới có thể bổ sung riêng từng chỗ thiếu. Một nhóm nguyên vẹn chỉ vào được một phần kiểm thử.

Nếu có thể chuyển các nhóm hiện tại, một nhóm mới có thể đủ. Trong ví dụ, chín trong số 15 tổ hợp hai lớp có tác dụng. Mỗi tổ hợp có một lớp từ mỗi tam giác. Bốn tổ hợp cần chuyển ít nhất một nhóm ban đầu và năm tổ hợp còn lại cần chuyển ít nhất ba nhóm. Trước khi thu thập nhóm mới, kiểm tra nhóm có những lớp nào và cách chuyển nhóm nào được phép.

Ghi lại cách phân bổ được chấp nhận, số lượng ở mỗi phần và cách kiểm tra việc giữ nguyên các nhóm. Tạo phiên bản đánh giá mới khi danh sách trường hợp thay đổi. Kiểm tra độ bao phủ xác nhận số lượng và thành viên theo yêu cầu. Xem thêm các tiêu chí chấp nhận khác, gồm mức độ đại diện của các trường hợp cho mục đích sử dụng.

Kiểm định chéo theo nhóm trong scikit-learn