Sari la conținutul principal

Meniu

Cercetare

Cum verifici AUROC din validarea încrucișată înainte să alegi un model

Limbă: Română

Pornește de la comparația de care ai nevoie. Cuprinde toate subseturile de test necesare? Contează la fel fiecare subset sau fiecare pereche comparabilă? Dacă scorurile vin de la modele ajustate separat, stabilește dacă evaluarea permite comparații între subseturi.

Verifică dacă toate subseturile necesare au scoruri

Pentru AUROC binar, verifică numărul cazurilor pozitive și negative din fiecare subset de test. Păstrează ID-urile de validare evaluate, scorurile fiecărui candidat pe subset și avertismentele din rulare.

Într-o căutare fictivă pe grilă cu zece cazuri, două subseturi conțin ambele clase și al treilea doar cazuri negative. scikit-learn 1.7.2 emite un avertisment și returnează NaN pentru ambii candidați în al treilea subset. Ambele medii sunt NaN și ambii candidați sunt pe locul 1. Căutarea ajustează din nou primul candidat din listă, chiar și cu error_score="raise". Inversarea ordinii schimbă alegerea.

Într-un diagnostic separat, limitat la cele două subseturi cu scor definit, mediile sunt 1.00 pentru A și 0.375 pentru B. A este ales în ambele ordini. Dacă raportezi acest diagnostic, menționează domeniul redus al validării. Rezolvă problema acoperirii subseturilor cerute inițial înainte să alegi un câștigător pe baza căutării.

Verifică ponderile scorurilor pe subset

Pentru AUROC binar neponderat, un subset de test cu p cazuri pozitive și n cazuri negative are p × n comparații între cele două clase. AUROC din subset arată cât de frecvent cazul pozitiv are scorul mai mare, cu jumătate de punct la egalitate. Media pe subseturi dă aceeași pondere fiecărui subset. Ponderarea după perechile din interiorul subseturilor dă aceeași pondere fiecărei perechi eligibile.

În alt exemplu fictiv, fiecare subset are șase rânduri. Subsetul 1 are un caz pozitiv și cinci negative, deci contribuie cu cinci perechi. Subsetul 2 are câte trei din fiecare și contribuie cu nouă perechi. A obține 5/5 și 4/9. B obține 2/5 și 8/9.

CalculABScor mai mare
Pondere egală pe subset13/1829/45A
Pondere egală pe pereche în același subset9/1410/14B

În această comparație, scorurile sunt egale dacă subsetul 1 primește ponderea 20/47. Cu ponderi egale pe subset, subsetul 1 primește o pondere mai mare. Ponderea după perechi îi dă 5/14 și îl pune pe B în față. Ambele calcule iau în considerare comparațiile din interiorul subseturilor.

Verifică ce presupune reunirea scorurilor

Dacă reunești mai întâi predicțiile, compari și cazuri pozitive și negative din subseturi diferite. În al treilea exemplu, A obține 3/4 în fiecare subset, iar B obține 2/4 în fiecare. Scorurile cumulate inițial sunt 13/16 pentru A și 11/16 pentru B. Adăugarea unei constante la scorurile lui A din al doilea subset păstrează ambele ordini locale, dar scade scorul cumulat al lui A la 10/16. B rămâne la 11/16, iar comparația se inversează.

Dacă te interesează clasamentul din fiecare subset rezervat testării, raportează scorurile pe subset și ponderile alese. Dacă reunești predicțiile, notează ce face comparabile scările de scor ale modelelor ajustate separat. Păstrează repartizarea, numărul de cazuri pe clase, coloanele de scor, regula de agregare și rezultatul selecției ca altcineva să poată reproduce comparația.

Cele trei exemple folosesc scoruri fictive. Predicții cu validare încrucișată în scikit-learn · Cercetare privind agregarea în validarea încrucișată