# Hoe beoordeel je een systeem dat gevallen kan weigeren?

Gebruik voor beide werkwijzen dezelfde lijst met testgevallen. Leg per geval de voorspelling van het hoofdsysteem en de zekerheid daarbij vast, of het systeem het geval accepteerde of weigerde, de eventuele uitkomst van de terugvaloptie en de uiteindelijke uitkomst. Met deze gegevens kun je drie dingen controleren voordat je de percentages juiste beslissingen vergelijkt.

**Controleer hoeveel gevallen het systeem accepteert en hoe het ze kiest.** De dekking is het aandeel van de gevallen dat het hoofdsysteem accepteert. Bij een herhaalde test met zes gevallen sprong het aantal geaccepteerde gevallen bij een drempel voor de zekerheid van het systeem van één naar vijf, doordat vier scores gelijk waren. Een quotum van precies drie kon de groep met gelijke scores splitsen. Bij sorteren op score met de bestandsvolgorde als doorslag bij gelijke scores leverde alleen een andere rijvolgorde nul of twee fouten op onder die drie gevallen. Rapporteer bij een drempel de feitelijke dekking. Noteer bij een exact quotum de regel voor gelijke scores en de ID’s van de geaccepteerde gevallen. [Scoredrempels in scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Tel de juiste beslissingen van de terugvaloptie op de gevallen die ze krijgt.** In een afzonderlijke test met 12 gevallen accepteerden A en B er allebei zes, waarvan drie met dezelfde ID’s. A had zes geaccepteerde gevallen goed en B vijf. Dezelfde terugvaloptie, met een vaste uitkomst per geval, had twee door A geweigerde gevallen goed en vijf door B geweigerde gevallen. Daarmee eindigde B over de hele werkwijze voor A met 10 juiste beslissingen tegenover 8. Rapporteer zowel het percentage juiste beslissingen onder de geaccepteerde gevallen als het percentage over de volledige lijst. Bewaar de versie van de terugvaloptie en de uitkomsten van de geweigerde gevallen bij het verslag. [Gezamenlijke beoordeling van voorspeller en terugvaloptie](https://proceedings.mlr.press/v119/mozannar20b.html)

**Controleer welke ontbrekende uitkomsten de rangorde kunnen veranderen.** In de test met 12 gevallen bleef B bij elke mogelijke invulling twee juiste beslissingen voor toen drie uitkomsten werden verborgen van gevallen die beide systemen hadden doorgestuurd. Elke verborgen uitkomst was gedeeld. Bij het verbergen van zes uitkomsten van gevallen die de systemen verschillend behandelden, liep het verschil B min A van −4 tot +2. Gebruik de berekening met gedeelde uitkomsten alleen als beide doorverwijzingen voor dat geval dezelfde uitkomst zouden gebruiken. Als beide werkwijzen voor kunnen eindigen, achterhaal dan eerst de uitkomsten van de gevallen die verschillend zijn behandeld.

Vermeld bij de scores het totale aantal gevallen, het aantal geaccepteerde gevallen, het aantal juiste beslissingen per route en het aantal ontbrekende uitkomsten. Geef bij onvolledige gegevens aan welke aannames achter het resterende bereik zitten.

[Download de scripts en opgeslagen resultaten (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
