# 모델을 선택하기 전에 교차 검증 AUROC를 확인하는 방법

필요한 비교부터 생각하세요. 필요한 테스트 폴드가 모두 포함됐나요? 각 폴드에 같은 가중치를 줄까요, 아니면 비교 가능한 쌍마다 같은 가중치를 줄까요? 따로 학습한 모델의 점수를 쓴다면 폴드 간 비교가 가능한지 확인하세요.

## 필요한 모든 폴드에 점수가 있는지 확인하세요

이진 AUROC의 경우 각 테스트 폴드의 양성 및 음성 사례 수를 확인하세요. 점수를 매긴 검증 사례 ID, 후보의 폴드별 점수, 실행 중 나온 경고를 저장하세요.

가상의 열 개 사례로 그리드 탐색을 하면 두 폴드에는 두 클래스가 모두 들어 있고 세 번째에는 음성만 있습니다. scikit-learn 1.7.2는 경고를 내고 세 번째 폴드에서 두 후보 모두에 NaN을 반환합니다. 두 평균은 NaN이고 두 후보 모두 순위가 1입니다. `error_score="raise"`를 사용해도 목록의 첫 후보를 다시 학습합니다. 후보 순서를 뒤집으면 선택이 바뀝니다.

점수가 정의된 두 폴드만 쓰는 별도 진단에서 평균은 A가 1.00, B가 0.375입니다. 두 순서 모두 A가 선택됩니다. 이 결과를 보고한다면 검증 범위를 줄였다고 기록하세요. 탐색 결과로 승자를 고르기 전에 원래 필요한 폴드의 범위 문제를 해결하세요.

## 폴드 점수에 어떤 가중치를 주는지 확인하세요

가중치 없는 이진 AUROC에서 양성 p개와 음성 n개가 있는 테스트 폴드는 양성과 음성을 p × n번 비교할 수 있습니다. 폴드 내 AUROC는 양성의 점수가 더 높은 빈도를 나타내고, 동점에는 반 점을 줍니다. 폴드별 평균은 각 폴드의 가중치를 같게 둡니다. 폴드 내 쌍으로 가중치를 매기면 비교 가능한 각 쌍의 가중치가 같습니다.

다른 가상 예제에서 두 폴드에 행이 여섯 개씩 있습니다. 폴드 1에는 양성 하나와 음성 다섯 개가 있어 다섯 쌍이 나옵니다. 폴드 2에는 양성과 음성이 각각 세 개라 아홉 쌍이 나옵니다. A는 5/5와 4/9입니다. B는 2/5와 8/9입니다.

| 계산 방식 | A | B | 더 높은 점수 |
| --- | --- | --- | --- |
| 폴드마다 같은 가중치 | 13/18 | 29/45 | A |
| 폴드 내 쌍마다 같은 가중치 | 9/14 | 10/14 | B |

이 비교에서는 폴드 1의 가중치가 20/47일 때 동점입니다. 폴드마다 가중치를 같게 하면 폴드 1의 가중치가 이보다 높습니다. 쌍으로 가중치를 매기면 해당 폴드는 5/14를 받아 B가 앞섭니다. 두 계산 모두 폴드 안의 비교를 셉니다.

## 점수를 합칠 때 필요한 가정을 확인하세요

예측을 먼저 합치면 서로 다른 폴드의 양성과 음성도 비교합니다. 세 번째 예제에서 각 폴드의 점수는 A가 3/4, B가 2/4입니다. 원래 합친 점수는 A가 13/16, B가 11/16입니다. 두 번째 폴드에서 A의 점수에 상수를 더하면 두 폴드 안의 순위는 같지만 A의 합친 점수는 10/16으로 떨어집니다. B는 11/16 그대로이므로 비교 결과가 뒤집힙니다.

별도로 둔 테스트 폴드마다 순위를 알고 싶다면 폴드별 점수와 선택한 가중치를 보고하세요. 예측을 합친다면 따로 학습한 모델의 점수 척도를 비교할 수 있는 근거를 기록하세요. 다른 검토자가 재현할 수 있게 폴드 배정, 클래스별 건수, 점수 열, 집계 규칙과 모델 선택 결과를 함께 저장하세요.

세 예제는 가상의 점수를 사용합니다. [scikit-learn의 교차 검증 예측](https://scikit-learn.org/1.7/modules/generated/sklearn.model_selection.cross_val_predict.html) · [교차 검증 결과 집계 연구](https://kdd.org/exploration_files/v12-1-p49-forman-sigkdd.pdf)

[스크립트와 저장된 결과 다운로드(ZIP)](https://sapien1.com/research/audit-cross-validation-auroc-evidence/cross-validation-auroc-replay.zip)
