Pesquisa
Como avaliar um sistema que pode recusar casos
Use a mesma lista de casos de teste nos dois fluxos. Para cada caso, registre a previsão principal e o nível de confiança, se o sistema aceitou ou recusou o caso, o resultado da alternativa quando houver e o resultado final. Esses registros permitem fazer três verificações antes de comparar as taxas de acerto.
Confira quantos casos o sistema aceita e como ele os escolhe. A cobertura é a parcela de casos aceitos pelo sistema principal. Ao repetir um teste de seis casos, um limiar de confiança fez o número de casos aceitos saltar de um para cinco porque quatro pontuações estavam empatadas. Uma cota de exatamente três podia separar os casos empatados. Ao ordenar por pontuação e usar a ordem do arquivo para desempatar, mudar só a ordem das linhas produziu zero ou dois erros nesses três casos. Para um limiar, informe a cobertura obtida. Para uma cota exata, registre a regra de desempate e os IDs dos casos aceitos. Limiares de pontuação no scikit-learn
Conte os acertos da alternativa nos casos que ela recebe. Em outro teste com 12 casos, A e B aceitaram seis casos cada, com três IDs em comum. A acertou os seis casos que aceitou e B acertou cinco. A mesma alternativa, com um resultado fixo por caso, acertou dois dos casos recusados por A e cinco dos recusados por B. No fluxo completo, B ficou na frente com 10 acertos contra 8. Informe a taxa de acerto nos casos aceitos e a taxa na lista completa. Guarde com o relatório a versão da alternativa e os resultados dos casos recusados. Avaliação conjunta do preditor e da alternativa
Confira quais resultados ausentes podem mudar quem fica na frente. No teste com 12 casos, ocultar três resultados de casos encaminhados pelos dois sistemas deixou B dois acertos na frente em todas as combinações possíveis, pois cada resultado oculto era compartilhado. Ao ocultar seis resultados de casos tratados de maneiras diferentes, a diferença de B menos A ficou entre −4 e +2. Use o cálculo com resultados compartilhados apenas quando os dois encaminhamentos usariam o mesmo resultado por caso. Se a faixa permitir que qualquer um dos fluxos fique na frente, priorize recuperar os resultados dos casos que seguiram caminhos diferentes.
Inclua com as pontuações o número total de casos, o número de casos aceitos, os acertos em cada caminho e quantos resultados faltam. Se os dados estiverem incompletos, explique as premissas do intervalo restante.