Gå til hovedindholdet

Menu

Forskning

Sådan evaluerer du et system, der kan afvise sager

Sprog: Dansk

Brug den samme liste over testsager til begge arbejdsgange. Notér hovedsystemets forudsigelse og sikkerheden på den, om systemet tog imod eller afviste sagen, et eventuelt svar fra reserveløsningen og det endelige udfald. Med de oplysninger kan du tjekke tre ting, før du sammenligner andelen af korrekte beslutninger.

Tjek, hvor mange sager systemet tager imod, og hvordan det vælger dem. Dækningen er andelen af sager, som hovedsystemet tager imod. Da en test med seks sager blev kørt igen, fik en grænse for sikkerheden antallet af modtagne sager til at springe fra én til fem, fordi fire scorer var ens. En fast kvote på tre kunne dele gruppen af sager med samme score. Ved at sortere efter score og bruge filens rækkefølge ved ens scorer gav en ændring af rækkefølgen alene nul eller to fejl blandt de tre sager. Angiv den opnåede dækning ved en tærskel. Ved en fast kvote skal du notere reglen for ens scorer og de modtagne sagers id’er. Scoretærskler i scikit-learn

Tæl reserveløsningens korrekte beslutninger i de sager, den får. I en anden test med 12 sager tog både A og B imod seks, hvoraf tre havde samme id’er. A havde ret i alle seks sager, det tog imod, og B havde ret i fem. Den samme reserveløsning med et fast svar pr. sag havde ret i to sager, A afviste, og fem, B afviste. Set over hele arbejdsgangen førte B derfor med 10 korrekte beslutninger mod 8. Angiv både andelen af korrekte beslutninger for de modtagne sager og for hele listen. Gem reserveløsningens version og de afviste sagers udfald sammen med rapporten. Samlet evaluering af forudsigelser og reserveløsning

Tjek, hvilke manglende udfald der kan ændre, hvem der fører. I testen med 12 sager førte B stadig med to korrekte beslutninger i alle tænkelige scenarier, da tre udfald blev skjult for sager, begge systemer sendte videre. De var fælles om hvert af de skjulte udfald. Da seks udfald blev skjult for sager, systemerne behandlede forskelligt, lå forskellen B minus A mellem −4 og +2. Beregn kun med fælles udfald, når begge arbejdsgange ville bruge det samme resultat for den enkelte sag, de sendte videre. Hvis begge kan ende med at føre, så find først udfald for de sager, der blev behandlet forskelligt.

Angiv sammen med scorerne det samlede antal sager, antallet af modtagne sager, antallet af korrekte beslutninger på hver vej og antallet af manglende udfald. Hvis data er ufuldstændige, skal du angive antagelserne bag det resterende spænd.