Forskning
Slik sjekker du AUROC fra kryssvalidering før du velger en modell
Start med sammenligningen du trenger. Dekker den alle påkrevde testfolder? Skal hver fold telle likt, eller hvert sammenlignbare par? Hvis poengene kommer fra modeller som er trent hver for seg, avgjør om evalueringen støtter sammenligning på tvers av foldene.
Sjekk at alle påkrevde folder har poeng
Ved binær AUROC, tell positive og negative tilfeller i hver testfold. Ta vare på validerings-ID-ene som fikk poeng, hver kandidats poeng per fold og advarslene fra kjøringen.
I et oppdiktet rutenettsøk med ti tilfeller har to folder begge klasser, og en tredje bare negative tilfeller. scikit-learn 1.7.2 varsler og returnerer NaN for begge kandidatene i den tredje folden. Begge gjennomsnittene er NaN, og begge kandidatene får plassering 1. Søket trener kandidaten som står først på nytt, selv med error_score="raise". Snur du rekkefølgen, endres valget.
I en separat kontroll begrenset til de to foldene med definerte poeng er gjennomsnittene 1.00 for A og 0.375 for B. A velges i begge rekkefølgene. Oppgi det reduserte valideringsomfanget hvis du rapporterer kontrollen. Avklar dekningen for foldene som opprinnelig var påkrevd, før du bruker søket til å velge en vinner.
Sjekk hvordan foldenes poeng vektes
For uvektet binær AUROC har en testfold med p positive og n negative tilfeller p × n sammenligninger av positive og negative tilfeller. AUROC innenfor folden sier hvor ofte det positive tilfellet får høyere poeng, med et halvt poeng ved likhet. Et gjennomsnitt per fold gir alle foldene lik vekt. Parvekting innenfor foldene gir hvert gyldige par lik vekt.
I et annet oppdiktet eksempel har begge folder seks rader. Fold 1 har ett positivt og fem negative tilfeller og bidrar med fem par. Fold 2 har tre av hver og bidrar med ni. A får 5/5 og 4/9. B får 2/5 og 8/9.
| Beregning | A | B | Høyest poengsum |
|---|---|---|---|
| Lik vekt per fold | 13/18 | 29/45 | A |
| Lik vekt per par i samme fold | 9/14 | 10/14 | B |
I denne sammenligningen er poengene like når fold 1 får vekten 20/47. Med lik vekt per fold får fold 1 mer vekt enn det. Parvekting gir den 5/14 og setter B foran. Begge metodene teller sammenligninger innenfor foldene.
Sjekk hva det forutsetter å slå sammen poengene
Hvis du slår sammen prediksjonene først, sammenligner du også positive og negative tilfeller fra ulike folder. I et tredje eksempel får A 3/4 i hver fold og B 2/4 i hver. De opprinnelige samlede poengene er 13/16 for A og 11/16 for B. Legger du en konstant til poengene til A i den andre folden, beholdes begge interne rekkefølger, men den samlede poengsummen til A går ned til 10/16. B holder seg på 11/16, og sammenligningen snur.
Hvis spørsmålet gjelder rangering innenfor hver testfold som ble holdt utenfor treningen, oppgi foldenes poeng og valgt vekting. Hvis prediksjonene slås sammen, noter hva som gjør skalaene sammenlignbare på tvers av modeller. Behold foldinndelingen, klasseantallene, poengkolonnene, regelen for å samle resultatene og modellvalget, slik at en annen kan gjenskape sammenligningen.
De tre eksemplene bruker oppdiktede poengsummer. Prediksjoner med kryssvalidering i scikit-learn · Forskning på hvordan kryssvalideringsresultater kan slås sammen