Forskning
Slik sjekker du klassedekningen før du godkjenner en gruppert splitt
Hold beslektede eksempler i samme gruppe når de må følges ad i inndelingen mellom trening og test. Grupper kan være samtaler, kunder eller andre enheter i evalueringen. Før du velger en metode, noter hvilke klasser som skal være med i hver testfold og eventuelle minstekrav. Klassedekning og nøyaktig balanse er ulike krav.
Sjekk inndelingen som ble laget
Lagre hvilke grupper som havnet i hver fold, og tell eksempler per klasse i hver testfold. Sjekk at gruppene er intakte og at alle nødvendige klasser er med, hver for seg. Mangler en påkrevd klasse, sett inndelingen på vent og sjekk om en annen fordeling av hele grupper oppfyller kravet.
I et oppdiktet eksempel med 24 rader brukte StratifiedGroupKFold fra scikit-learn 1.7.2 tre folder uten stokking. Ett sett numeriske gruppe-ID-er ga klassetellingene (4, 2), (4, 6) og (4, 4). Med omvendte ID-er ble det (4, 6), (4, 0) og (4, 6), med alle rader, etiketter og gruppemedlemskap bevart. Første inndeling har alle klassene, men ikke nøyaktig balanse. Den andre oppfyller ingen av kravene. En nøyaktig fordeling med (4, 4) var mulig her.
Sjekk om kravet kan oppfylles
Hvis begge folder må inneholde alle klasser, må hver klasse finnes i minst to uavhengige grupper. Se hvilke grupper hver klasse ligger i for å sjekke om alle klassene kan opptre i begge folder samtidig.
I to separate eksempler med 12 rader finnes hver klasse i to grupper, og hver gruppe har to rader. De to gruppene for hver klasse må derfor ligge i hver sin fold. Når de seks parene danner en ring, kan gruppene fordeles annenhver gang. Når de danner to trekanter, måtte alle tre gruppene i hver trekant ligge på motsatt side av hverandre. Hver trekant tvinger fram et hull. Av de 62 fordelingene til to navngitte, ikke-tomme folder gir to full dekning for ringen og ingen for trekantene.
Velg en rettelse som respekterer det som ligger fast
I eksemplet med to trekanter mangler klasse 5 i den første folden og klasse 1 i den andre. Hvis den eksisterende inndelingen ligger fast, kan to nye uavhengige grupper fylle hullene hver for seg. En intakt gruppe kan bare havne i én testfold.
Hvis eksisterende grupper kan flyttes, kan én ny gruppe være nok. I eksemplet fungerer ni av de 15 mulige profilene med to klasser. Hver inneholder én klasse fra hver trekant. Fire profiler krever at minst én opprinnelig gruppe flyttes, og de andre fem minst tre. Før du samler inn en ny gruppe, sjekk hvilke klasser den faktisk har og hvilke flyttinger evalueringen tillater.
Noter den godkjente inndelingen, antall per fold og hvordan gruppene ble kontrollert. Lag en ny versjon av evalueringen hvis listen over tilfeller endres. Dekningskontrollen bekrefter de angitte antallene og medlemskapene. Sjekk også de andre kravene, blant annet om tilfellene representerer det tiltenkte bruksområdet.