Recherche
Comment évaluer un système qui peut refuser des cas
Gardez la même liste de cas de test pour les deux processus. Pour chaque cas, notez la prédiction principale et le niveau de confiance, indiquez si le système l’a accepté ou refusé, puis consignez le résultat du dispositif de secours s’il y en a un et le résultat final. Ces données permettent trois vérifications avant de comparer le taux de bonnes décisions.
Vérifiez combien de cas le système accepte et comment il les choisit. La couverture est la part des cas acceptés par le système principal. En rejouant un test de six cas, un seuil de confiance a fait passer le nombre de cas acceptés de un à cinq parce que quatre scores étaient identiques. Un quota exact de trois pouvait départager ces cas. En triant par score et en départageant les ex æquo selon l’ordre du fichier, le seul changement d’ordre des lignes a donné zéro ou deux erreurs parmi ces trois cas. Pour un seuil, indiquez la couverture obtenue. Pour un quota exact, conservez la règle de départage et les identifiants des cas acceptés. Seuils de score dans scikit-learn
Comptez les bonnes décisions du secours sur les cas qu’il reçoit. Dans un autre test rejoué sur 12 cas, A et B ont chacun accepté six cas, dont trois en commun. A a donné six bonnes réponses parmi les cas acceptés et B en a donné cinq. Le même dispositif de secours, au résultat fixé pour chaque cas, a donné deux bonnes réponses sur les cas refusés par A et cinq sur ceux refusés par B. Sur le processus complet, B est donc arrivé en tête avec 10 bonnes réponses contre 8. Indiquez le taux de bonnes réponses sur les cas acceptés et celui sur l’ensemble des cas. Conservez avec le rapport la version du secours et les résultats des cas refusés. Évaluation conjointe du prédicteur et du dispositif de secours
Vérifiez quels résultats manquants pourraient changer le classement. Dans le test de 12 cas, masquer trois résultats de cas transmis par les deux systèmes a laissé B en tête de deux bonnes réponses dans tous les scénarios possibles, puisque chaque résultat masqué était commun aux deux. En masquant six résultats de cas traités différemment, l’écart de B moins A allait de −4 à +2. Utilisez le calcul des résultats communs uniquement lorsque les deux transmissions mèneraient au même résultat pour le cas concerné. Si les écarts possibles permettent à l’un ou à l’autre d’arriver en tête, cherchez d’abord les résultats des cas qui ont suivi des voies différentes.
Indiquez avec les scores le nombre total de cas, le nombre de cas acceptés, les bonnes décisions sur chaque voie et le nombre de résultats manquants. Si les données sont incomplètes, précisez les hypothèses qui sous-tendent la fourchette restante.