# 처리를 넘길 수 있는 시스템을 평가하는 방법

두 처리 방식에 동일한 테스트 사례 목록을 사용하세요. 각 사례의 기본 예측과 확신도, 시스템이 맡았는지 넘겼는지, 대체 수단의 답이 있다면 그 답, 그리고 최종 결과를 기록하세요. 이 기록으로 정확도를 비교하기 전에 세 가지를 확인할 수 있습니다.

**시스템이 몇 건을 맡고 어떻게 고르는지 확인하세요.** 처리 비율은 전체 사례 중 기본 시스템이 맡은 사례의 비율입니다. 여섯 건의 테스트를 재현했을 때, 네 건의 점수가 같아서 확신도 기준을 바꾸자 맡은 사례 수가 한 건에서 다섯 건으로 뛰었습니다. 정확히 세 건으로 정하면 동점 사례를 나눌 수 있었습니다. 점수순으로 정렬하고 동점은 파일에 있는 순서대로 처리했을 때, 행 순서만 바꿔도 세 건 중 오류가 없거나 두 건이었습니다. 확신도 기준을 쓸 때는 실제 처리 비율을 보고하세요. 건수를 고정할 때는 동점 처리 규칙과 맡은 사례의 ID를 기록하세요. [scikit-learn의 점수 기준](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**대체 수단이 받은 사례에서 맞힌 건수를 세세요.** 별도로 재현한 12건의 테스트에서는 A와 B가 각각 여섯 건을 맡았고 사례 ID 세 개가 겹쳤습니다. 맡은 사례 중 A는 여섯 건, B는 다섯 건을 맞혔습니다. 사례마다 고정된 답을 쓰는 동일한 대체 수단은 A가 넘긴 사례 중 두 건, B가 넘긴 사례 중 다섯 건을 맞혔습니다. 전체 처리에서는 B가 10건을 맞혀 8건을 맞힌 A보다 앞섰습니다. 맡은 사례의 정확도와 전체 목록의 정확도를 모두 보고하세요. 대체 수단의 버전과 넘긴 사례의 결과도 보고서와 함께 보관하세요. [예측 시스템과 대체 수단을 함께 평가하는 방법](https://proceedings.mlr.press/v119/mozannar20b.html)

**어떤 결과가 빠지면 순위가 바뀔 수 있는지 확인하세요.** 12건의 테스트에서 두 시스템이 모두 넘긴 사례의 결과 세 건을 숨겼을 때, 모든 가능한 결과를 대입해도 B가 두 건 앞섰습니다. 숨긴 결과가 모두 두 시스템에 공통이었기 때문입니다. 처리 경로가 달랐던 사례의 결과 여섯 건을 숨기자 B에서 A를 뺀 차이는 −4에서 +2까지였습니다. 두 시스템이 넘긴 사례마다 같은 결과를 사용할 때만 공통 결과를 적용해 계산하세요. 어느 쪽이든 앞설 수 있다면 처리 경로가 달랐던 사례의 결과부터 찾으세요.

점수와 함께 전체 사례 수, 맡은 사례 수, 각 경로에서 맞힌 건수, 빠진 결과 수를 적으세요. 데이터가 불완전하다면 가능한 범위를 계산할 때 사용한 가정을 밝히세요.

[재현 스크립트와 저장된 결과 다운로드(ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
