Forskning
Så kontrollerar du AUROC från korsvalidering innan du väljer modell
Börja med jämförelsen du behöver. Omfattar den alla obligatoriska testdelar? Ska varje del väga lika tungt, eller varje jämförbart par? Om poängen kommer från modeller som anpassats var för sig, avgör om utvärderingen stöder jämförelser mellan delar.
Kontrollera att varje obligatorisk testdel har en poäng
Vid binär AUROC, räkna positiva och negativa fall i varje testdel. Spara vilka validerings-ID:n som fick poäng, varje kandidats poäng per del och körningens varningar.
I en påhittad rutnätssökning med tio fall finns båda klasserna i två delar och bara negativa fall i en tredje. scikit-learn 1.7.2 varnar och ger NaN för båda kandidaterna i den tredje delen. Båda medelvärdena är NaN och båda kandidaterna får plats 1. Sökningen anpassar den första kandidaten på nytt, även med error_score="raise". Om ordningen vänds ändras valet.
I en separat kontroll som bara omfattar de två delarna med definierad poäng blir genomsnittet 1.00 för A och 0.375 för B. A väljs i båda ordningarna. Redovisa den snävare omfattningen om du rapporterar kontrollen. Lös täckningen av de delar som krävs från början innan du använder sökningen för att välja en vinnare.
Kontrollera hur delarnas poäng viktas
För oviktad binär AUROC ger en testdel med p positiva och n negativa fall p × n jämförelser mellan positiva och negativa fall. AUROC i delen anger hur ofta det positiva fallet får högre poäng, med ett halvt poäng vid lika resultat. Ett genomsnitt per del ger varje del samma vikt. Viktning per par inom delarna ger varje giltigt par samma vikt.
I ett annat påhittat exempel har båda delarna sex rader. Del 1 har ett positivt och fem negativa fall och ger fem par. Del 2 har tre av varje och ger nio par. A får 5/5 och 4/9. B får 2/5 och 8/9.
| Beräkning | A | B | Högre poäng |
|---|---|---|---|
| Samma vikt per del | 13/18 | 29/45 | A |
| Samma vikt per par inom en del | 9/14 | 10/14 | B |
I jämförelsen blir poängen lika om del 1 får vikten 20/47. Med lika vikt per del får del 1 större vikt än så. Parviktningen ger den 5/14 och placerar B först. Båda beräkningarna räknar jämförelser inom delarna.
Kontrollera vad gemensam poängberäkning förutsätter
Om du slår ihop förutsägelserna först jämför du också positiva och negativa fall från olika delar. I ett tredje exempel får A 3/4 i varje del och B 2/4 i varje del. De ursprungliga gemensamma poängen är 13/16 för A och 11/16 för B. När en konstant läggs till A:s poäng i den andra delen bevaras båda lokala ordningarna, men A:s gemensamma poäng sjunker till 10/16. B ligger kvar på 11/16, och jämförelsen vänder.
Om frågan gäller rangordning inom varje avskild testdel, redovisa delarnas poäng och valda vikter. Om du slår ihop förutsägelserna, dokumentera hur poängskalorna från separata modellpassningar är jämförbara. Spara indelning, klassantal, poängkolumner, beräkningsregel och modellval så att någon annan kan upprepa jämförelsen.
De tre exemplen använder påhittade poäng. Förutsägelser med korsvalidering i scikit-learn · Forskning om att sammanställa korsvalideringsresultat