Forskning
Så utvärderar du ett system som kan avstå från fall
Använd samma lista med testfall för båda arbetsflödena. Anteckna huvudsystemets förutsägelse och hur säkert det är, om det tog emot eller avstod från fallet, reservlösningens eventuella svar och det slutliga utfallet. Med den informationen kan du göra tre kontroller innan du jämför andelen rätt.
Kontrollera hur många fall systemet tar emot och hur det väljer dem. Täckning är andelen fall som huvudsystemet tar emot. När ett test med sex fall spelades upp igen gjorde en gräns för säkerheten att antalet mottagna fall hoppade från ett till fem, eftersom fyra poäng var lika. En fast kvot på tre kunde dela upp fallen med samma poäng. Vid sortering efter poäng med filens ordning som skiljeregel gav enbart ändrad radordning noll eller två fel bland de tre fallen. Ange den faktiska täckningen vid en gräns och spara skiljeregeln och de mottagna fallens ID:n vid en fast kvot. Poängtrösklar i scikit-learn
Räkna hur många rätt reservlösningen får på fallen den tar emot. I ett separat test med 12 fall tog A och B emot sex var, med tre fall-ID:n gemensamt. A hade rätt i sex av fallen som det tog emot och B i fem. Samma reservlösning, med ett fast svar per fall, hade rätt i två fall som A avstod från och i fem som B avstod från. I hela arbetsflödet ledde därför B med 10 rätt mot 8. Redovisa andelen rätt för mottagna fall och för hela listan. Spara reservlösningens version och utfallen för de fall som systemen avstod från tillsammans med rapporten. Gemensam utvärdering av prediktionssystem och reservlösning
Kontrollera vilka saknade utfall som kan ändra vilket system som leder. I testet med 12 fall låg B två rätt före med alla möjliga kompletteringar när tre utfall doldes för fall som båda lämnade vidare. Systemen delade varje dolt utfall. När sex utfall för fall som systemen hanterade olika doldes låg skillnaden B minus A mellan −4 och +2. Räkna med gemensamma utfall bara när båda systemen skulle använda samma enskilda utfall vid en överlämning. Om båda skulle kunna leda, hämta först utfallen för fallen som tog olika vägar.
Ange tillsammans med poängen det totala antalet fall, hur många som togs emot, antalet rätt på varje väg och antalet saknade utfall. Om data är ofullständiga, ange antagandena bakom det återstående intervallet.