Gå til hovedindholdet

Menu

Forskning

Sådan tjekker du AUROC fra krydsvalidering, før du vælger en model

Sprog: Dansk

Begynd med den sammenligning, du har brug for. Dækker den alle krævede testsæt? Skal hvert sæt tælle lige meget, eller skal hvert sammenligneligt par gøre det? Hvis scorerne kommer fra modeller, der er trænet hver for sig, så afgør, om evalueringen understøtter en sammenligning på tværs af sæt.

Tjek, om alle krævede testsæt har en score

Ved binær AUROC skal du tælle positive og negative tilfælde i hvert testsæt. Gem de bedømte validerings-id’er, hver kandidats scorer for de enkelte sæt og advarslerne fra kørslen.

I en tænkt gittersøgning med ti tilfælde har to testsæt begge klasser, mens et tredje kun har negative tilfælde. scikit-learn 1.7.2 advarer og returnerer NaN for begge kandidater i det tredje sæt. Begge gennemsnit er NaN, og begge kandidater får placering 1. Søgningen træner den kandidat, der står først, igen, også med error_score="raise". Vendes rækkefølgen om, ændres valget.

I en separat kontrol med kun de to sæt med defineret score er gennemsnittene 1.00 for A og 0.375 for B. A vælges i begge rækkefølger. Angiv det mindre valideringsomfang, hvis du rapporterer denne kontrol. Afklar dækningen for de oprindeligt krævede sæt, før du bruger søgningen til at vælge en vinder.

Tjek, hvordan scorerne vægtes

For uvægtet binær AUROC giver et testsæt med p positive og n negative tilfælde p × n sammenligninger mellem positive og negative. Sættets AUROC viser, hvor ofte det positive tilfælde scorer højere, med et halvt point ved lighed. Et gennemsnit pr. sæt giver hvert sæt samme vægt. Vægtning efter par inden for sættene giver hvert gyldigt par samme vægt.

I et andet tænkt eksempel har begge sæt seks rækker. Sæt 1 har ét positivt og fem negative tilfælde, så det bidrager med fem par. Sæt 2 har tre af hver og bidrager med ni. A får 5/5 og 4/9. B får 2/5 og 8/9.

BeregningABHøjeste score
Samme vægt pr. testsæt13/1829/45A
Samme vægt pr. par inden for testsættet9/1410/14B

I sammenligningen står scorerne lige, hvis sæt 1 får vægten 20/47. Ved ens vægt pr. sæt får sæt 1 større vægt end det. Ved parvægtning får det 5/14, så B fører. Begge metoder tæller sammenligninger inden for sættene.

Tjek, hvad det kræver at slå scorerne sammen

Hvis forudsigelserne lægges sammen først, sammenlignes også positive og negative tilfælde fra forskellige sæt. I et tredje eksempel får A 3/4 i hvert sæt, og B får 2/4 i hvert sæt. De oprindelige samlede scorer er 13/16 for A og 11/16 for B. Lægges en konstant til A’s scorer i andet sæt, bevares begge interne rækkefølger, men A’s samlede score falder til 10/16. B bliver på 11/16, og sammenligningen vender.

Gælder spørgsmålet rangeringen i hvert særskilt testsæt, så rapportér scorerne for sættene og vægtningen. Hvis du lægger forudsigelserne sammen, så notér, hvad der gør skalaerne sammenlignelige på tværs af trænede modeller. Gem opdelingen, antallene pr. klasse, scorekolonnerne, reglen for at samle resultaterne og modelvalget, så en anden kan genskabe sammenligningen.

De tre eksempler bruger opdigtede scorer. Forudsigelser med krydsvalidering i scikit-learn · Forskning i at samle resultater fra krydsvalidering