# 如何评估可以拒绝接手案例的系统

两个流程使用同一份测试案例清单。逐一记录主系统的预测及其置信度、是否接手该案例、备用方案的回答（如有）和最终结果。比较正确率前，可以用这些记录做三项检查。

**看看系统接手多少案例，以及怎么选。** 覆盖率就是主系统接手的案例所占的比例。重跑一项包含六个案例的测试时，因为四个分数相同，调整置信度门槛后，接手的案例数从一个直接跳到五个。把名额固定为三个，就可以拆开这组同分案例。按分数排序、同分时按文件中的顺序选取，只改行顺序，就可能让这三个案例中出现零个或两个错误。使用门槛时，报告实际覆盖率。使用固定名额时，记录同分处理规则和接手的案例编号。 [scikit-learn 的分数门槛](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**统计备用方案在实际接到的案例中答对多少。** 在另一项包含12个案例的测试中，A和B各接手六个案例，其中三个编号相同。A在接手的案例中答对六个，B答对五个。两套流程使用同一个备用方案，每个案例的回答固定。它在A拒绝的案例中答对两个，在B拒绝的案例中答对五个。把整个流程算进去，B以答对10个领先于答对8个的A。分别报告接手案例的正确率和完整清单的正确率。备用方案的版本和被拒绝案例的结果应与报告一起保存。 [综合评估预测系统和备用方案](https://proceedings.mlr.press/v119/mozannar20b.html)

**看看哪些缺失结果可能改变排名。** 在包含12个案例的测试中，隐藏三个两套系统都转交的案例结果后，无论怎样补全，B都多答对两个，因为每个隐藏结果都是两套系统共用的。隐藏六个处理路径不同的案例结果后，B减A的差值介于−4和+2之间。只有两套系统都转交某个案例时会使用相同结果，才按共用结果计算。如果两套流程都有可能领先，先找回处理路径不同的案例结果。

报告分数时，附上案例总数、接手数量、各处理路径上的正确决策数和缺失结果数。如果数据不全，请说明计算剩余范围所用的假设。

[下载重跑脚本和已保存的结果（ZIP）](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
