# Como avaliar um sistema que pode recusar casos

Use a mesma lista de casos de teste nos dois fluxos. Para cada caso, registre a previsão principal e o nível de confiança, se o sistema aceitou ou recusou o caso, o resultado da alternativa quando houver e o resultado final. Esses registros permitem fazer três verificações antes de comparar as taxas de acerto.

**Confira quantos casos o sistema aceita e como ele os escolhe.** A cobertura é a parcela de casos aceitos pelo sistema principal. Ao repetir um teste de seis casos, um limiar de confiança fez o número de casos aceitos saltar de um para cinco porque quatro pontuações estavam empatadas. Uma cota de exatamente três podia separar os casos empatados. Ao ordenar por pontuação e usar a ordem do arquivo para desempatar, mudar só a ordem das linhas produziu zero ou dois erros nesses três casos. Para um limiar, informe a cobertura obtida. Para uma cota exata, registre a regra de desempate e os IDs dos casos aceitos. [Limiares de pontuação no scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Conte os acertos da alternativa nos casos que ela recebe.** Em outro teste com 12 casos, A e B aceitaram seis casos cada, com três IDs em comum. A acertou os seis casos que aceitou e B acertou cinco. A mesma alternativa, com um resultado fixo por caso, acertou dois dos casos recusados por A e cinco dos recusados por B. No fluxo completo, B ficou na frente com 10 acertos contra 8. Informe a taxa de acerto nos casos aceitos e a taxa na lista completa. Guarde com o relatório a versão da alternativa e os resultados dos casos recusados. [Avaliação conjunta do preditor e da alternativa](https://proceedings.mlr.press/v119/mozannar20b.html)

**Confira quais resultados ausentes podem mudar quem fica na frente.** No teste com 12 casos, ocultar três resultados de casos encaminhados pelos dois sistemas deixou B dois acertos na frente em todas as combinações possíveis, pois cada resultado oculto era compartilhado. Ao ocultar seis resultados de casos tratados de maneiras diferentes, a diferença de B menos A ficou entre −4 e +2. Use o cálculo com resultados compartilhados apenas quando os dois encaminhamentos usariam o mesmo resultado por caso. Se a faixa permitir que qualquer um dos fluxos fique na frente, priorize recuperar os resultados dos casos que seguiram caminhos diferentes.

Inclua com as pontuações o número total de casos, o número de casos aceitos, os acertos em cada caminho e quantos resultados faltam. Se os dados estiverem incompletos, explique as premissas do intervalo restante.

[Baixe os scripts de reprodução e os resultados salvos (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
