Gå til hovedinnholdet

Meny

Forskning

Slik evaluerer du et system som kan avvise saker

Språk: Norsk bokmål

Bruk samme liste over testsaker for begge arbeidsflytene. Registrer hovedsystemets prediksjon og hvor sikkert det er for hver sak, om systemet tok imot eller avviste saken, eventuelt svar fra reserveløsningen og det endelige utfallet. Med denne informasjonen kan du gjøre tre kontroller før du sammenligner andelen riktige svar.

Sjekk hvor mange saker systemet tar imot og hvordan det velger dem. Dekning er andelen saker hovedsystemet tar imot. Da en test med seks saker ble kjørt på nytt, fikk en terskel for sikkerheten antallet saker systemet tok imot til å hoppe fra én til fem fordi fire hadde samme poengsum. En kvote på nøyaktig tre kunne dele gruppen med lik poengsum. Ved sortering etter poengsum og bruk av filrekkefølgen ved lik poengsum ga en endring i radrekkefølgen alene null eller to feil blant de tre sakene. Oppgi den faktiske dekningen ved en terskel. Ved en fast kvote, registrer regelen for lik poengsum og ID-ene til sakene systemet tok imot. Poengterskler i scikit-learn

Tell hvor mange riktige svar reserveløsningen gir på sakene den får. I en annen test med 12 saker tok A og B imot seks hver, med tre saks-ID-er felles. A svarte riktig i seks av sakene det tok imot og B i fem. Den samme reserveløsningen med fast svar per sak svarte riktig på to av sakene A avviste og fem av sakene B avviste. For hele arbeidsflyten lå B dermed foran med 10 riktige svar mot 8. Oppgi andelen riktige svar blant mottatte saker og på hele listen. Oppbevar versjonen av reserveløsningen og utfallet for de avviste sakene sammen med rapporten. Samlet evaluering av systemets prediksjoner og reserveløsningen

Sjekk hvilke manglende utfall som kan endre hvem som ligger foran. I testen med 12 saker lå B to riktige svar foran ved alle mulige utfall da tre utfall ble skjult for saker begge systemene hadde sendt videre. Systemene delte hvert av de skjulte utfallene. Da seks utfall for saker systemene behandlet ulikt ble skjult, varierte forskjellen B minus A fra −4 til +2. Bruk beregningen med felles utfall bare når begge systemene ville brukt samme resultat for saken de sendte videre. Hvis begge arbeidsflytene kan ende foran, hent først inn de manglende utfallene for saker som tok ulike veier.

Oppgi sammen med poengsummene det totale antallet saker, hvor mange som ble tatt imot, hvor mange svar som var riktige på hver vei og antallet manglende utfall. Hvis dataene er ufullstendige, oppgi antakelsene bak det gjenværende intervallet.