# Jak hodnotit systém, který může případy odmítnout

Pro oba postupy použijte stejný seznam testovacích případů. U každého zaznamenejte hlavní předpověď a míru jistoty, zda systém případ přijal, nebo odmítl, případný výsledek náhradního postupu a konečný výsledek. Díky tomu můžete před porovnáním podílů správných odpovědí zkontrolovat tři věci.

**Ověřte, kolik případů systém přijímá a jak je vybírá.** Pokrytí je podíl případů, které přijme hlavní systém. Při zopakování testu se šesti případy způsobil práh jistoty skok z jednoho přijatého případu na pět, protože čtyři skóre byla stejná. Pevný počet přesně tří případů mohl rozdělit případy se stejným skóre. Při řazení podle skóre a rozhodování shod podle pořadí v souboru stačilo změnit pořadí řádků a mezi těmito třemi případy bylo buď nula, nebo dvě chyby. U prahu uveďte dosažené pokrytí. U pevného počtu zaznamenejte pravidlo pro shody a identifikátory přijatých případů. [Prahy skóre ve scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.precision_recall_curve.html)

**Spočítejte správná rozhodnutí náhradního postupu v případech, které dostane.** V samostatném testu s 12 případy systémy A a B přijaly každý šest případů a tři identifikátory měly společné. A správně vyřešil šest přijatých případů a B pět. Stejný náhradní postup s pevným výsledkem pro každý případ správně vyřešil dva případy odmítnuté systémem A a pět odmítnutých systémem B. V celém postupu tak B vedl s 10 správnými rozhodnutími proti 8. Uveďte podíl správných rozhodnutí u přijatých případů i v celém seznamu. Ke zprávě přiložte verzi náhradního postupu a výsledky odmítnutých případů. [Společné hodnocení predikčního a náhradního postupu](https://proceedings.mlr.press/v119/mozannar20b.html)

**Zjistěte, které chybějící výsledky mohou změnit pořadí.** V testu s 12 případy zůstal B o dvě správná rozhodnutí vpředu při každém možném doplnění, když se skryly tři výsledky případů předaných oběma systémy. Každý skrytý výsledek totiž sdílely. Při skrytí šesti výsledků u případů, které oba systémy řešily jinak, byl rozdíl B minus A od −4 do +2. Výpočet se společnými výsledky použijte pouze tehdy, když by oba systémy při předání použily stejný výsledek daného případu. Pokud může vést kterýkoli z postupů, nejdřív doplňte výsledky případů, které systémy řešily různými cestami.

Ke skóre přidejte celkový počet případů, počet přijatých, správná rozhodnutí v každé větvi a počet chybějících výsledků. Pokud data nejsou úplná, uveďte předpoklady pro zbývající rozpětí.

[Stáhnout skripty pro zopakování testu a uložené výsledky (ZIP)](https://sapien1.com/research/evaluate-systems-that-decline-cases-evidence/selective-workflow-replay.zip)
