연구
처리를 넘길 수 있는 시스템을 평가하는 방법
두 처리 방식에 동일한 테스트 사례 목록을 사용하세요. 각 사례의 기본 예측과 확신도, 시스템이 맡았는지 넘겼는지, 대체 수단의 답이 있다면 그 답, 그리고 최종 결과를 기록하세요. 이 기록으로 정확도를 비교하기 전에 세 가지를 확인할 수 있습니다.
시스템이 몇 건을 맡고 어떻게 고르는지 확인하세요. 처리 비율은 전체 사례 중 기본 시스템이 맡은 사례의 비율입니다. 여섯 건의 테스트를 재현했을 때, 네 건의 점수가 같아서 확신도 기준을 바꾸자 맡은 사례 수가 한 건에서 다섯 건으로 뛰었습니다. 정확히 세 건으로 정하면 동점 사례를 나눌 수 있었습니다. 점수순으로 정렬하고 동점은 파일에 있는 순서대로 처리했을 때, 행 순서만 바꿔도 세 건 중 오류가 없거나 두 건이었습니다. 확신도 기준을 쓸 때는 실제 처리 비율을 보고하세요. 건수를 고정할 때는 동점 처리 규칙과 맡은 사례의 ID를 기록하세요. scikit-learn의 점수 기준
대체 수단이 받은 사례에서 맞힌 건수를 세세요. 별도로 재현한 12건의 테스트에서는 A와 B가 각각 여섯 건을 맡았고 사례 ID 세 개가 겹쳤습니다. 맡은 사례 중 A는 여섯 건, B는 다섯 건을 맞혔습니다. 사례마다 고정된 답을 쓰는 동일한 대체 수단은 A가 넘긴 사례 중 두 건, B가 넘긴 사례 중 다섯 건을 맞혔습니다. 전체 처리에서는 B가 10건을 맞혀 8건을 맞힌 A보다 앞섰습니다. 맡은 사례의 정확도와 전체 목록의 정확도를 모두 보고하세요. 대체 수단의 버전과 넘긴 사례의 결과도 보고서와 함께 보관하세요. 예측 시스템과 대체 수단을 함께 평가하는 방법
어떤 결과가 빠지면 순위가 바뀔 수 있는지 확인하세요. 12건의 테스트에서 두 시스템이 모두 넘긴 사례의 결과 세 건을 숨겼을 때, 모든 가능한 결과를 대입해도 B가 두 건 앞섰습니다. 숨긴 결과가 모두 두 시스템에 공통이었기 때문입니다. 처리 경로가 달랐던 사례의 결과 여섯 건을 숨기자 B에서 A를 뺀 차이는 −4에서 +2까지였습니다. 두 시스템이 넘긴 사례마다 같은 결과를 사용할 때만 공통 결과를 적용해 계산하세요. 어느 쪽이든 앞설 수 있다면 처리 경로가 달랐던 사례의 결과부터 찾으세요.
점수와 함께 전체 사례 수, 맡은 사례 수, 각 경로에서 맞힌 건수, 빠진 결과 수를 적으세요. 데이터가 불완전하다면 가능한 범위를 계산할 때 사용한 가정을 밝히세요.