Onderzoek
Zo controleer je kruisvalidatie-AUROC voordat je een model kiest
Begin met de vergelijking die je nodig hebt. Omvat die alle vereiste testdelen? Moet elk deel even zwaar meetellen, of elk vergelijkbaar paar? Als de scores van apart getrainde modellen komen, bepaal dan of de evaluatie een vergelijking tussen delen ondersteunt.
Controleer of elk vereist testdeel een score heeft
Tel voor binaire AUROC de positieve en negatieve gevallen per testdeel. Bewaar de beoordeelde validatie-ID’s, de scores per deel voor elke kandidaat en de waarschuwingen uit de uitvoering.
In een verzonnen rasterzoekopdracht met tien gevallen hebben twee delen beide klassen en een derde alleen negatieve gevallen. scikit-learn 1.7.2 waarschuwt en geeft voor beide kandidaten in het derde deel NaN. Beide gemiddelden zijn NaN en beide kandidaten krijgen rang 1. De zoekopdracht traint de eerste kandidaat in de lijst opnieuw, ook met error_score="raise". Omkeren van de volgorde verandert de selectie.
In een aparte controle met alleen de twee testdelen met een gedefinieerde score zijn de gemiddelden 1.00 voor A en 0.375 voor B. A wordt in beide volgordes gekozen. Leg het beperktere validatiebereik vast als je dit resultaat gebruikt. Los de dekking van alle oorspronkelijk vereiste delen op voordat je de zoekopdracht gebruikt om een winnaar te kiezen.
Controleer hoe de deelscores worden gewogen
Bij ongewogen binaire AUROC levert een testdeel met p positieve en n negatieve gevallen p × n positief-negatiefvergelijkingen op. De AUROC binnen het deel zegt hoe vaak het positieve geval hoger scoort, met een half punt bij een gelijke score. Bij een gemiddelde per deel telt elk deel even zwaar. Bij weging per paar binnen de delen telt elk geldig paar even zwaar.
In een ander verzonnen voorbeeld hebben beide delen zes rijen. Deel 1 heeft één positief en vijf negatieve gevallen en levert dus vijf paren op. Deel 2 heeft drie van elk en levert negen paren. A haalt 5/5 en 4/9. B haalt 2/5 en 8/9.
| Berekening | A | B | Hogere score |
|---|---|---|---|
| Gelijk gewicht per deel | 13/18 | 29/45 | A |
| Gelijk gewicht per paar binnen een deel | 9/14 | 10/14 | B |
In deze vergelijking zijn de scores gelijk als deel 1 een gewicht van 20/47 krijgt. Bij gelijke gewichten per deel krijgt deel 1 meer gewicht. Bij weging per paar krijgt het 5/14 en gaat B aan kop. Beide berekeningen tellen vergelijkingen binnen de delen.
Controleer de aannames als je scores samenvoegt
Als je de voorspellingen eerst samenvoegt, vergelijk je ook positieve en negatieve gevallen uit verschillende delen. In een derde voorbeeld haalt A in elk deel 3/4 en B in elk deel 2/4. De oorspronkelijke gezamenlijke scores zijn 13/16 voor A en 11/16 voor B. Tel je bij de scores van A in het tweede deel een constante op, dan blijven beide interne rangschikkingen gelijk en daalt de gezamenlijke score van A naar 10/16. B blijft op 11/16 en de vergelijking draait om.
Als het om de rangschikking binnen elk apart gehouden testdeel gaat, vermeld dan de scores per deel en de gekozen weging. Voeg je de voorspellingen samen, leg dan uit waardoor de scores van apart getrainde modellen vergelijkbaar zijn. Bewaar de indeling, klasseaantallen, scorekolommen, aggregatieregel en modelkeuze samen, zodat een tweede beoordelaar de vergelijking kan herhalen.
De drie voorbeelden gebruiken verzonnen scores. Voorspellingen met kruisvalidatie in scikit-learn · Onderzoek naar het samenvoegen van kruisvalidatieresultaten