본문으로 바로가기

메뉴

연구

잘못된 레이블을 찾는 표본 검토 계획 세우기

언어: 한국어

표본 크기를 정하기 전에 검토가 어떤 판단에 쓰일지 정하세요. 묶음에 잘못된 레이블이 정해진 수만큼 있다면, 하나도 찾지 못할 위험을 얼마나 받아들일 수 있나요? 이는 행을 고르는 방법, 검토자가 찾을 수 있는 오류, 일감을 나누는 방법에 따라 달라집니다.

아래 예시는 데이터셋 평가 가이드의 가상 묶음을 바탕으로 합니다. 120개 행에 잘못된 레이블이 여섯 개 있습니다. 각 예시는 검토 계획의 다른 부분을 살펴봅니다.

행을 고르는 방법에 맞춰 위험을 계산하세요

먼저 검토한 행의 오류를 모두 발견한다고 가정하세요. 서로 다른 20개 행의 모든 조합을 같은 확률로 고르면 약 32.63%의 경우에 오류 여섯 개를 모두 놓칩니다. 시작 위치를 무작위로 고르고 여섯 번째 행마다 뽑을 때, 연속된 여섯 행 묶음마다 오류가 같은 위치에 있으면 여섯 시작점 중 한 곳에서만 찾을 수 있습니다. 이 배치에서 전부 놓칠 확률은 83.33%입니다.

여섯 행 묶음마다 한 행을 다른 묶음과 독립적으로 고르면 이 배치에서의 위험은 33.49%로 줄어듭니다. 여섯 오류의 위치를 어떻게 바꿔도 이 방식에서 가장 높은 누락 확률은 이 값입니다. 오류 위치가 반복되는 예에서 위험이 5% 미만이 되려면 서로 다른 시작점 여섯 곳을 모두 써야 합니다. 모든 조합을 같은 확률로 고르고 검토한 오류를 모두 찾아낸다면 47개 행에서 이 기준에 도달합니다.

행 선택과 오류 발견 가능성을 따로 보세요

47개 행을 균등하게 뽑았을 때, 검토한 오류를 모두 찾을 수 있다면 실제 오류를 하나도 발견하지 못할 확률은 4.66%입니다. 표본의 각 오류를 서로 독립적으로 80% 확률로 찾을 수 있다면 이 확률은 10.06%입니다. 이 독립성 가정에서는 59개 행에서 처음으로 위험이 5% 미만으로 내려갑니다.

47개 행에서 오류별 발견 확률이 같은 80%라도, 어떤 오류를 함께 찾을 수 있는지에 따라 모두 놓칠 확률은 8.96%에서 23.73%까지 달라질 수 있습니다. 이 계산은 균등 추출이 검토 과정에서 찾을 수 있는 오류와 독립적이라고 가정합니다. 가장 불리한 경우에는 시도의 80%에서 오류 여섯 개를 모두 찾을 수 있고 나머지 20%에서는 하나도 찾을 수 없습니다. 이렇게 되면 모든 행을 한 번씩 검토해도 아무것도 찾지 못할 확률이 20%입니다. 정답을 아는 오류로 시험했다면 비교 가능한 검토마다 어떤 오류를 함께 찾았는지 기록하세요.

서로 다른 행과 독립적으로 오류를 찾을 기회를 세세요

행을 검토할 수 있는 횟수가 총 60회라고 가정하세요. 이 예에서 각 검토자는 시도의 80%에서 자신에게 배정된 오류를 모두 찾을 수 있고 나머지 시도에서는 하나도 찾을 수 없습니다. 행은 균등하게 배정되며, 어느 오류를 찾을 수 있는지와는 무관합니다.

검토 작업을 나누는 방법서로 다른 행 수실제 오류를 하나도 찾지 못할 확률
한 검토자가 60개 행을 확인6021.10%
서로 독립적인 두 검토자가 겹치지 않는 30개 행씩 확인6010.33%
오류를 찾을 수 있는 시도가 같은 두 검토자가 겹치지 않는 30개 행씩 확인6021.10%
서로 독립적인 두 검토자가 같은 30개 행을 각각 확인3020.36%

표본에 든 행 ID, 선택 규칙, 각 행을 본 사람, 오류를 발견할 가능성에 관한 가정을 기록하세요. 완성한 계획을 목표 위험 수준과 비교하세요. 실제 오류를 최소 하나 찾기 위한 검토라면 오탐, 의견이 갈릴 때 내리는 판정의 품질, 의도한 용도에 맞는지도 별도로 확인해야 합니다.

데이터셋 평가의 표본 추출 예시 · 캐나다 통계청의 표본 추출 방법 · 오류를 놓칠 수 있는 검사에 관한 연구