본문으로 바로가기

메뉴

연구

그룹 단위 평가 분할을 채택하기 전에 클래스가 빠졌는지 확인하는 방법

언어: 한국어

학습과 테스트를 나눌 때 관련 예제가 함께 있어야 한다면 같은 그룹에 두세요. 그룹은 대화나 고객 또는 평가에서 정한 다른 단위가 될 수 있습니다. 분할 방식을 고르기 전에 테스트 폴드마다 있어야 할 클래스와 최소 건수를 적으세요. 모든 클래스가 있는 것과 정확히 균형을 이루는 것은 서로 다른 요건입니다.

실제로 만들어진 분할을 확인하세요

그룹별 폴드 배정을 저장하고 각 테스트 폴드에서 클래스별 건수를 세세요. 그룹이 나뉘지 않았는지와 필요한 클래스가 모두 있는지를 따로 확인하세요. 필수 클래스가 빠졌다면 채택을 보류하고 그룹을 통째로 재배정해 요건을 충족할 수 있는지 확인하세요.

가상의 24개 행 예제에서 scikit-learn 1.7.2의 StratifiedGroupKFold는 섞지 않고 폴드 세 개를 만들었습니다. 한 숫자 그룹 ID 세트에서 클래스 건수 쌍은 (4, 2), (4, 6), (4, 4)였습니다. ID 순서를 뒤집자 (4, 6), (4, 0), (4, 6)이 나왔고 행, 라벨, 그룹 소속은 그대로였습니다. 첫 번째는 모든 클래스가 있지만 정확히 균형을 이루지 않습니다. 두 번째는 두 조건을 모두 충족하지 않습니다. 이 예제에서 정확히 (4, 4)인 배정은 가능했습니다.

요건을 충족할 수 있는지 확인하세요

두 폴드에 모든 클래스가 필요하면 각 클래스가 독립된 그룹 두 개 이상에 있어야 합니다. 클래스가 어떤 그룹들에 속하는지 살펴 모든 클래스가 동시에 두 폴드에 들어갈 수 있는지 확인하세요.

서로 다른 12개 행 예제 두 개에서 각 클래스는 그룹 두 개에, 각 그룹은 행 두 개를 포함합니다. 따라서 각 클래스의 두 그룹은 서로 다른 폴드에 들어가야 합니다. 여섯 쌍이 하나의 고리를 이루면 그룹을 번갈아 배정할 수 있습니다. 두 삼각형을 이루면 각 삼각형의 그룹 세 개 중 어느 두 개를 골라도 서로 다른 폴드에 있어야 합니다. 각 삼각형에서 클래스 하나 이상이 빠집니다. 이름이 있고 비어 있지 않은 두 폴드에 배정하는 62가지 중 고리에는 모든 클래스를 포함하는 배정이 두 가지 있었고 삼각형에는 하나도 없었습니다.

고정 조건을 지키는 보완 방법을 선택하세요

두 삼각형 예제에서 첫 번째로 나온 폴드에는 클래스 5가, 두 번째 폴드에는 클래스 1이 빠졌습니다. 기존 배정이 고정돼 있다면 독립된 새 그룹 두 개로 부족한 부분을 따로 채울 수 있습니다. 한 그룹은 통째로 테스트 폴드 하나에만 들어갈 수 있습니다.

기존 그룹을 옮길 수 있다면 새 그룹 하나면 충분할 수 있습니다. 이 예제에서는 클래스 두 개의 가능한 조합 15가지 중 아홉 가지가 요건을 충족합니다. 모두 각 삼각형에서 클래스를 하나씩 포함합니다. 네 가지는 기존 그룹을 최소 하나 옮겨야 하고 나머지 다섯 가지는 최소 세 개를 옮겨야 합니다. 새 그룹을 수집하기 전에 실제 포함 클래스와 허용된 이동을 확인하세요.

채택한 배정, 폴드별 건수, 그룹 분리 방지 여부를 확인한 방법을 기록하세요. 사례 목록이 바뀌면 평가 버전을 새로 부여하세요. 클래스 확인은 정해진 건수와 소속을 확인하는 절차입니다. 사례가 의도한 용도를 대표하는지 등 다른 채택 조건도 확인하세요.

scikit-learn의 그룹 단위 교차 검증