Přeskočit na hlavní obsah

Nabídka

Výzkum

Jak hodnotit systém, který může případy odmítnout

Jazyk: Čeština

Pro oba postupy použijte stejný seznam testovacích případů. U každého zaznamenejte hlavní předpověď a míru jistoty, zda systém případ přijal, nebo odmítl, případný výsledek náhradního postupu a konečný výsledek. Díky tomu můžete před porovnáním podílů správných odpovědí zkontrolovat tři věci.

Ověřte, kolik případů systém přijímá a jak je vybírá. Pokrytí je podíl případů, které přijme hlavní systém. Při zopakování testu se šesti případy způsobil práh jistoty skok z jednoho přijatého případu na pět, protože čtyři skóre byla stejná. Pevný počet přesně tří případů mohl rozdělit případy se stejným skóre. Při řazení podle skóre a rozhodování shod podle pořadí v souboru stačilo změnit pořadí řádků a mezi těmito třemi případy bylo buď nula, nebo dvě chyby. U prahu uveďte dosažené pokrytí. U pevného počtu zaznamenejte pravidlo pro shody a identifikátory přijatých případů. Prahy skóre ve scikit-learn

Spočítejte správná rozhodnutí náhradního postupu v případech, které dostane. V samostatném testu s 12 případy systémy A a B přijaly každý šest případů a tři identifikátory měly společné. A správně vyřešil šest přijatých případů a B pět. Stejný náhradní postup s pevným výsledkem pro každý případ správně vyřešil dva případy odmítnuté systémem A a pět odmítnutých systémem B. V celém postupu tak B vedl s 10 správnými rozhodnutími proti 8. Uveďte podíl správných rozhodnutí u přijatých případů i v celém seznamu. Ke zprávě přiložte verzi náhradního postupu a výsledky odmítnutých případů. Společné hodnocení predikčního a náhradního postupu

Zjistěte, které chybějící výsledky mohou změnit pořadí. V testu s 12 případy zůstal B o dvě správná rozhodnutí vpředu při každém možném doplnění, když se skryly tři výsledky případů předaných oběma systémy. Každý skrytý výsledek totiž sdílely. Při skrytí šesti výsledků u případů, které oba systémy řešily jinak, byl rozdíl B minus A od −4 do +2. Výpočet se společnými výsledky použijte pouze tehdy, když by oba systémy při předání použily stejný výsledek daného případu. Pokud může vést kterýkoli z postupů, nejdřív doplňte výsledky případů, které systémy řešily různými cestami.

Ke skóre přidejte celkový počet případů, počet přijatých, správná rozhodnutí v každé větvi a počet chybějících výsledků. Pokud data nejsou úplná, uveďte předpoklady pro zbývající rozpětí.