Ricerca
Come valutare un sistema che può rifiutare casi
Usa lo stesso elenco di casi di prova per entrambi i flussi. Per ogni caso registra la previsione del sistema principale e il suo livello di confidenza, se il sistema ha accettato o rifiutato il caso, l’eventuale risultato della procedura di riserva e l’esito finale. Questi dati permettono di fare tre verifiche prima di confrontare le percentuali di risposte corrette.
Verifica quanti casi accetta il sistema e come li sceglie. La copertura è la quota dei casi accettati dal sistema principale. Ripetendo un test con sei casi, una soglia di confidenza ha fatto passare da uno a cinque i casi accettati, perché quattro punteggi erano uguali. Una quota fissa di tre poteva dividere i casi a pari punteggio. Ordinando per punteggio e usando l’ordine del file per risolvere i pareggi, il solo cambio di ordine delle righe ha prodotto zero o due errori tra quei tre casi. Con una soglia, riporta la copertura ottenuta. Con una quota fissa, registra la regola per i pareggi e gli identificativi dei casi accettati. Soglie dei punteggi in scikit-learn
Conta le decisioni corrette della riserva sui casi che riceve. In un’altra prova ripetuta con 12 casi, A e B ne hanno accettati sei a testa, di cui tre con lo stesso identificativo. A ha risposto correttamente a tutti e sei i casi accettati e B a cinque. La stessa procedura di riserva, con un risultato fisso per ogni caso, ha risposto correttamente a due dei casi rifiutati da A e a cinque di quelli rifiutati da B. Sul flusso completo, B è quindi passato in testa con 10 risposte corrette contro 8. Riporta sia la percentuale di risposte corrette sui casi accettati sia quella sull’elenco completo. Conserva con il rapporto la versione della procedura di riserva e gli esiti dei casi rifiutati. Valutazione congiunta di previsore e procedura di riserva
Verifica quali esiti mancanti potrebbero cambiare il risultato del confronto. Nella prova con 12 casi, nascondendo tre esiti di casi passati alla riserva da entrambi i sistemi, B è rimasto avanti di due risposte corrette in ogni scenario possibile, perché condividevano ciascun esito nascosto. Nascondendo invece sei esiti di casi trattati in modo diverso, il divario B meno A andava da −4 a +2. Usa il calcolo degli esiti condivisi solo quando entrambe le procedure userebbero lo stesso risultato per quel caso. Se entrambi i flussi possono finire in testa, recupera prima gli esiti dei casi che hanno seguito percorsi diversi.
Indica con i punteggi il numero totale di casi, quanti sono stati accettati, quante decisioni corrette ci sono state per ogni percorso e quanti esiti mancano. Se i dati sono incompleti, specifica le ipotesi su cui si basa l’intervallo rimanente.