研究
如何评估可以拒绝接手案例的系统
两个流程使用同一份测试案例清单。逐一记录主系统的预测及其置信度、是否接手该案例、备用方案的回答(如有)和最终结果。比较正确率前,可以用这些记录做三项检查。
看看系统接手多少案例,以及怎么选。 覆盖率就是主系统接手的案例所占的比例。重跑一项包含六个案例的测试时,因为四个分数相同,调整置信度门槛后,接手的案例数从一个直接跳到五个。把名额固定为三个,就可以拆开这组同分案例。按分数排序、同分时按文件中的顺序选取,只改行顺序,就可能让这三个案例中出现零个或两个错误。使用门槛时,报告实际覆盖率。使用固定名额时,记录同分处理规则和接手的案例编号。 scikit-learn 的分数门槛
统计备用方案在实际接到的案例中答对多少。 在另一项包含12个案例的测试中,A和B各接手六个案例,其中三个编号相同。A在接手的案例中答对六个,B答对五个。两套流程使用同一个备用方案,每个案例的回答固定。它在A拒绝的案例中答对两个,在B拒绝的案例中答对五个。把整个流程算进去,B以答对10个领先于答对8个的A。分别报告接手案例的正确率和完整清单的正确率。备用方案的版本和被拒绝案例的结果应与报告一起保存。 综合评估预测系统和备用方案
看看哪些缺失结果可能改变排名。 在包含12个案例的测试中,隐藏三个两套系统都转交的案例结果后,无论怎样补全,B都多答对两个,因为每个隐藏结果都是两套系统共用的。隐藏六个处理路径不同的案例结果后,B减A的差值介于−4和+2之间。只有两套系统都转交某个案例时会使用相同结果,才按共用结果计算。如果两套流程都有可能领先,先找回处理路径不同的案例结果。
报告分数时,附上案例总数、接手数量、各处理路径上的正确决策数和缺失结果数。如果数据不全,请说明计算剩余范围所用的假设。