Výzkum
Jak zkontrolovat AUROC z křížové validace před výběrem modelu
Začněte porovnáním, které potřebujete. Zahrnuje všechny požadované testovací části? Má mít stejnou váhu každá část, nebo každá srovnatelná dvojice? Pokud skóre pochází ze samostatně trénovaných modelů, ověřte, zda je můžete porovnávat mezi částmi.
Ověřte, že každá požadovaná část má skóre
U binárního AUROC spočítejte pozitivní a negativní případy v každé testovací části. Uložte vyhodnocená validační ID, skóre každého kandidáta v každé části a varování z běhu.
Ve smyšleném prohledávání mřížky s deseti případy mají dvě části obě třídy a třetí jen negativní případy. scikit-learn 1.7.2 vydá varování a ve třetí části vrátí pro oba kandidáty NaN. Oba průměry jsou NaN a oba kandidáti mají pořadí 1. Vyhledávání znovu natrénuje prvního kandidáta v seznamu, i s error_score="raise". Obrácení pořadí změní výběr.
V samostatné diagnostice omezené na dvě části s definovaným skóre jsou průměry 1.00 pro A a 0.375 pro B. V obou pořadích je vybrán A. Pokud diagnostiku uvádíte, zaznamenejte omezený rozsah validace. Před výběrem vítěze vyřešte pokrytí všech původně požadovaných částí.
Zkontrolujte, jakou váhu mají jednotlivá skóre
V neváženém binárním AUROC poskytuje testovací část s p pozitivními a n negativními případy p × n porovnání pozitivních a negativních případů. AUROC uvnitř části vyjadřuje, jak často má pozitivní případ vyšší skóre, s půl bodem za shodu. Průměr po částech dává každé části stejnou váhu. Váhy podle dvojic uvnitř částí dávají stejnou váhu každé přípustné dvojici.
V jiném smyšleném příkladu mají obě části šest řádků. Část 1 má jeden pozitivní a pět negativních případů, takže přispívá pěti dvojicemi. Část 2 má tři případy v každé třídě a přispívá devíti dvojicemi. A má skóre 5/5 a 4/9. B má skóre 2/5 a 8/9.
| Výpočet | A | B | Vyšší skóre |
|---|---|---|---|
| Stejná váha každé části | 13/18 | 29/45 | A |
| Stejná váha každé dvojice uvnitř části | 9/14 | 10/14 | B |
V tomto porovnání se skóre shodují, když část 1 dostane váhu 20/47. Stejné váhy pro všechny části dávají části 1 větší váhu. Váhy podle dvojic jí dávají 5/14 a posouvají B do vedení. Oba výpočty počítají porovnání uvnitř částí.
Ověřte, co předpokládá společný výpočet
Pokud predikce nejdřív spojíte, porovnáte i pozitivní a negativní případy z různých částí. Ve třetím příkladu má A v každé části skóre 3/4 a B v každé části 2/4. Původní společná skóre jsou 13/16 pro A a 11/16 pro B. Přičtení konstanty ke skóre A ve druhé části zachová obě místní pořadí, ale sníží společné skóre A na 10/16. B zůstane na 11/16 a porovnání se obrátí.
Pokud vás zajímá pořadí uvnitř každé vyhrazené testovací části, uveďte její skóre a zvolené váhy. Pokud predikce spojujete, zapište, proč jsou stupnice skóre různě trénovaných modelů srovnatelné. Uložte přiřazení k částem, počty tříd, sloupce skóre, pravidlo souhrnu i výsledek výběru, aby šlo porovnání zopakovat.
Všechny tři příklady používají smyšlená skóre. Predikce z křížové validace v knihovně scikit-learn · Výzkum souhrnu výsledků křížové validace