연구
모델을 선택하기 전에 교차 검증 AUROC를 확인하는 방법
필요한 비교부터 생각하세요. 필요한 테스트 폴드가 모두 포함됐나요? 각 폴드에 같은 가중치를 줄까요, 아니면 비교 가능한 쌍마다 같은 가중치를 줄까요? 따로 학습한 모델의 점수를 쓴다면 폴드 간 비교가 가능한지 확인하세요.
필요한 모든 폴드에 점수가 있는지 확인하세요
이진 AUROC의 경우 각 테스트 폴드의 양성 및 음성 사례 수를 확인하세요. 점수를 매긴 검증 사례 ID, 후보의 폴드별 점수, 실행 중 나온 경고를 저장하세요.
가상의 열 개 사례로 그리드 탐색을 하면 두 폴드에는 두 클래스가 모두 들어 있고 세 번째에는 음성만 있습니다. scikit-learn 1.7.2는 경고를 내고 세 번째 폴드에서 두 후보 모두에 NaN을 반환합니다. 두 평균은 NaN이고 두 후보 모두 순위가 1입니다. error_score="raise"를 사용해도 목록의 첫 후보를 다시 학습합니다. 후보 순서를 뒤집으면 선택이 바뀝니다.
점수가 정의된 두 폴드만 쓰는 별도 진단에서 평균은 A가 1.00, B가 0.375입니다. 두 순서 모두 A가 선택됩니다. 이 결과를 보고한다면 검증 범위를 줄였다고 기록하세요. 탐색 결과로 승자를 고르기 전에 원래 필요한 폴드의 범위 문제를 해결하세요.
폴드 점수에 어떤 가중치를 주는지 확인하세요
가중치 없는 이진 AUROC에서 양성 p개와 음성 n개가 있는 테스트 폴드는 양성과 음성을 p × n번 비교할 수 있습니다. 폴드 내 AUROC는 양성의 점수가 더 높은 빈도를 나타내고, 동점에는 반 점을 줍니다. 폴드별 평균은 각 폴드의 가중치를 같게 둡니다. 폴드 내 쌍으로 가중치를 매기면 비교 가능한 각 쌍의 가중치가 같습니다.
다른 가상 예제에서 두 폴드에 행이 여섯 개씩 있습니다. 폴드 1에는 양성 하나와 음성 다섯 개가 있어 다섯 쌍이 나옵니다. 폴드 2에는 양성과 음성이 각각 세 개라 아홉 쌍이 나옵니다. A는 5/5와 4/9입니다. B는 2/5와 8/9입니다.
| 계산 방식 | A | B | 더 높은 점수 |
|---|---|---|---|
| 폴드마다 같은 가중치 | 13/18 | 29/45 | A |
| 폴드 내 쌍마다 같은 가중치 | 9/14 | 10/14 | B |
이 비교에서는 폴드 1의 가중치가 20/47일 때 동점입니다. 폴드마다 가중치를 같게 하면 폴드 1의 가중치가 이보다 높습니다. 쌍으로 가중치를 매기면 해당 폴드는 5/14를 받아 B가 앞섭니다. 두 계산 모두 폴드 안의 비교를 셉니다.
점수를 합칠 때 필요한 가정을 확인하세요
예측을 먼저 합치면 서로 다른 폴드의 양성과 음성도 비교합니다. 세 번째 예제에서 각 폴드의 점수는 A가 3/4, B가 2/4입니다. 원래 합친 점수는 A가 13/16, B가 11/16입니다. 두 번째 폴드에서 A의 점수에 상수를 더하면 두 폴드 안의 순위는 같지만 A의 합친 점수는 10/16으로 떨어집니다. B는 11/16 그대로이므로 비교 결과가 뒤집힙니다.
별도로 둔 테스트 폴드마다 순위를 알고 싶다면 폴드별 점수와 선택한 가중치를 보고하세요. 예측을 합친다면 따로 학습한 모델의 점수 척도를 비교할 수 있는 근거를 기록하세요. 다른 검토자가 재현할 수 있게 폴드 배정, 클래스별 건수, 점수 열, 집계 규칙과 모델 선택 결과를 함께 저장하세요.
세 예제는 가상의 점수를 사용합니다. scikit-learn의 교차 검증 예측 · 교차 검증 결과 집계 연구