# 如何評估可以拒絕接手案例的系統

兩套流程使用同一份測試案例清單。逐一記錄主系統的預測與信心分數、是否接手該案例、備用方案的回答（如有）和最終結果。比較正確率之前，可以用這些紀錄做三項檢查。

**確認系統接手多少案例，以及怎麼選。** 涵蓋率是主系統接手的案例所占的比例。重跑一項包含六個案例的測試時，因為有四個分數相同，調整信心分數的門檻後，接手的案例數從一個直接跳到五個。把名額固定為三個，就可以拆開這組同分案例。依分數排序、同分時依檔案中的順序選取，只改變資料列順序，就可能讓這三個案例中出現零個或兩個錯誤。使用門檻時，回報實際涵蓋率。使用固定名額時，記錄同分處理規則和接手的案例編號。 [scikit-learn 的分數門檻](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**統計備用方案在實際接到的案例中答對多少。** 在另一項包含12個案例的測試中，A 和 B 各接手六個案例，其中三個編號相同。A 在接手的案例中答對六個，B 答對五個。兩套流程使用同一個備用方案，每個案例的回答固定。它在 A 拒絕的案例中答對兩個，在 B 拒絕的案例中答對五個。整套流程算下來，B 答對10個，比 A 的8個多。分別回報接手案例的正確率和完整清單的正確率。備用方案的版本和被拒絕案例的結果應與報告一起保留。 [合併評估預測系統和備用方案](https://proceedings.mlr.press/v119/mozannar20b.html)

**確認哪些缺少的結果可能改變排名。** 在包含12個案例的測試中，隱藏三個兩套系統都轉交的案例結果後，無論怎麼補上，B 都多答對兩個，因為兩套系統共用每一個隱藏的結果。隱藏六個處理路徑不同的案例結果後，B 減 A 的差值介於 −4 和 +2 之間。只有兩套系統都轉交某個案例時會使用相同結果，才按共用結果計算。如果兩套流程都有可能領先，先找回處理路徑不同的案例結果。

回報分數時，附上案例總數、接手數量、各處理路徑上的正確決策數，以及缺少多少結果。如果資料不完整，說明計算剩餘範圍時用了哪些假設。

[下載重跑指令碼和已儲存的結果（ZIP）](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
