# Wie du ein System bewertest, das Fälle ablehnen kann

Verwende für beide Abläufe dieselbe Liste von Testfällen. Halte für jeden Fall die Vorhersage des Hauptsystems, seine Sicherheit, die Annahme oder Ablehnung, ein mögliches Ergebnis der Ersatzlösung und das Endergebnis fest. Mit diesen Daten kannst du vor dem Vergleich der Trefferquoten drei Dinge prüfen.

**Prüfe, wie viele Fälle das System annimmt und wie es sie auswählt.** Die Abdeckung ist der Anteil der Fälle, die das Hauptsystem annimmt. Bei einem wiederholten Test mit sechs Fällen sprang die Zahl der angenommenen Fälle an einer Konfidenzschwelle von eins auf fünf, weil vier Fälle denselben Wert hatten. Eine feste Vorgabe von genau drei Fällen konnte diese Gruppe aufteilen. Beim Sortieren nach Wert und Auflösen von Gleichständen nach Dateireihenfolge entstanden bei diesen drei Fällen null oder zwei Fehler, je nachdem, wie die Zeilen angeordnet waren. Gib bei einer Schwelle die erreichte Abdeckung an. Halte bei einer festen Anzahl die Regel für Gleichstände und die IDs der angenommenen Fälle fest. [Schwellenwerte in scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Zähle die richtigen Entscheidungen der Ersatzlösung in den Fällen, die sie erhält.** In einem zweiten Test mit 12 Fällen nahmen A und B jeweils sechs an, davon drei mit denselben IDs. A lag in sechs angenommenen Fällen richtig, B in fünf. Dieselbe Ersatzlösung mit festem Ergebnis pro Fall lag bei zwei von A abgelehnten Fällen und bei fünf von B abgelehnten Fällen richtig. Im gesamten Ablauf lag B damit mit 10 richtigen Entscheidungen vor A mit 8. Gib sowohl die Trefferquote der angenommenen Fälle als auch die Trefferquote über alle Fälle an. Bewahre die Version der Ersatzlösung und die Ergebnisse der abgelehnten Fälle zusammen mit dem Bericht auf. [Gemeinsame Bewertung von Vorhersagesystem und Ersatzlösung](https://proceedings.mlr.press/v119/mozannar20b.html)

**Prüfe, welche fehlenden Ergebnisse die Reihenfolge ändern könnten.** Im Test mit 12 Fällen blieb B bei allen möglichen Ergänzungen um zwei richtige Entscheidungen vorne, als drei Ergebnisse aus Fällen verborgen wurden, die beide Systeme weitergegeben hatten. Beide nutzten jeweils dasselbe verborgene Ergebnis. Wurden stattdessen sechs Ergebnisse aus unterschiedlich behandelten Fällen verborgen, reichte der Abstand B minus A von −4 bis +2. Rechne nur mit gemeinsamen Ergebnissen, wenn beide Systeme beim Weitergeben dasselbe Ergebnis pro Fall verwenden würden. Wenn beide in Führung liegen könnten, beschaffe zuerst die Ergebnisse der unterschiedlich behandelten Fälle.

Gib zu den Punktzahlen die Gesamtzahl der Fälle, die Zahl der angenommenen Fälle, die richtigen Entscheidungen je Entscheidungsweg und die Zahl der fehlenden Ergebnisse an. Wenn Daten fehlen, nenne die Annahmen hinter der verbleibenden Spanne.

[Skripte und gespeicherte Ergebnisse herunterladen (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
