# Jak ocenić system, który może odrzucać sprawy

Użyj tej samej listy spraw testowych w obu procesach. Dla każdej sprawy zapisz główną prognozę i poziom pewności, czy system przyjął sprawę, czy ją odrzucił, ewentualną odpowiedź rozwiązania zapasowego oraz wynik końcowy. Te informacje umożliwiają trzy kontrole przed porównaniem odsetka poprawnych decyzji.

**Sprawdź, ile spraw system przyjmuje i jak je wybiera.** Pokrycie to odsetek spraw przyjętych przez główny system. Przy powtórzeniu testu na sześciu sprawach próg pewności spowodował skok z jednej przyjętej sprawy do pięciu, ponieważ cztery oceny były równe. Limit dokładnie trzech spraw pozwalał rozdzielić sprawy z tym samym wynikiem. Po posortowaniu według wyniku i rozstrzygnięciu remisów według kolejności w pliku sama zmiana kolejności wierszy dawała zero lub dwa błędy w tych trzech sprawach. Przy progu podaj faktyczne pokrycie. Przy stałej liczbie zapisz regułę rozstrzygania remisów i identyfikatory przyjętych spraw. [Progi wyniku w scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Policz poprawne decyzje rozwiązania zapasowego w sprawach, które do niego trafiają.** W osobnym teście z 12 sprawami A i B przyjęły po sześć spraw, z czego trzy miały wspólne identyfikatory. A poprawnie rozstrzygnął sześć przyjętych spraw, a B pięć. To samo rozwiązanie zapasowe, ze stałą odpowiedzią dla każdej sprawy, poprawnie rozstrzygnęło dwie sprawy odrzucone przez A i pięć odrzuconych przez B. W całym procesie B wygrał więc z 10 poprawnymi decyzjami wobec 8. Podaj odsetek poprawnych decyzji w przyjętych sprawach i na całej liście. Zachowaj z raportem wersję rozwiązania zapasowego i wyniki odrzuconych spraw. [Wspólna ocena systemu prognoz i rozwiązania zapasowego](https://proceedings.mlr.press/v119/mozannar20b.html)

**Sprawdź, które brakujące wyniki mogą zmienić kolejność.** W teście z 12 sprawami po ukryciu trzech wyników w sprawach przekazanych przez oba systemy B prowadził dwiema poprawnymi decyzjami przy każdym możliwym uzupełnieniu, ponieważ każdy ukryty wynik był wspólny. Po ukryciu sześciu wyników spraw potraktowanych inaczej różnica B minus A wynosiła od −4 do +2. Używaj obliczenia ze wspólnymi wynikami tylko wtedy, gdy oba systemy po przekazaniu użyłyby tego samego wyniku dla danej sprawy. Jeśli każdy z procesów może prowadzić, w pierwszej kolejności odzyskaj wyniki spraw, które trafiły na różne ścieżki.

Obok wyników podaj liczbę wszystkich spraw, liczbę przyjętych spraw, poprawne decyzje na każdej ścieżce i liczbę brakujących wyników. Jeśli dane są niepełne, opisz założenia stojące za pozostałym zakresem.

[Pobierz skrypty do odtworzenia testu i zapisane wyniki (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
