Forskning
Sådan tjekker du klassedækning, før du godkender en gruppedeling
Hold beslægtede eksempler i samme gruppe, hvis de skal følges ad ved opdelingen i træning og test. Grupper kan være samtaler, kunder eller andre enheder i evalueringen. Notér før valget af opdelingsmetode, hvilke klasser der skal være i hvert testsæt, og eventuelle minimumsantal. Tilstedeværelse og præcis balance er forskellige krav.
Tjek den opdeling, du fik
Gem, hvordan grupperne blev fordelt, og tæl hver klasse i hvert testsæt. Tjek hver for sig, at grupperne er intakte, og at de krævede klasser er med. Hvis en klasse mangler, så sæt opdelingen på pause og undersøg, om en anden fordeling af hele grupper kan opfylde kravet.
I et tænkt eksempel med 24 rækker brugte StratifiedGroupKFold fra scikit-learn 1.7.2 tre testsæt uden blanding. Ét sæt numeriske gruppe-id’er gav klasseantal på (4, 2), (4, 6) og (4, 4). Med id’erne i omvendt rækkefølge blev det (4, 6), (4, 0) og (4, 6), med de samme rækker, mærkater og gruppemedlemskaber. Den første fordeling har alle klasser med, men er ikke præcist balanceret. Den anden opfylder ingen af kravene. En præcis fordeling på (4, 4) var mulig her.
Tjek, om kravet kan opfyldes
Hvis begge testsæt skal have alle klasser med, skal hver klasse forekomme i mindst to uafhængige grupper. Se på forbindelserne mellem klasser og grupper for at afgøre, om alle klasser kan være i begge testsæt på én gang.
I to separate eksempler med 12 rækker optræder hver klasse i to grupper, og hver gruppe rummer to rækker. Grupperne for hver klasse skal derfor i hvert sit testsæt. Hvis de seks par danner en ring, virker det at fordele grupperne skiftevis. Hvis parrene danner to trekanter, skulle alle tre grupper i hver trekant ligge i hvert sit modsatte sæt. Hver trekant tvinger en klasse til at mangle. Af de 62 fordelinger i to navngivne, ikke-tomme testsæt giver to fuld dækning for ringen og ingen for trekanterne.
Vælg en rettelse, der respekterer det, der ligger fast
I eksemplet med trekanterne mangler klasse 5 i første testsæt og klasse 1 i det andet. Hvis de eksisterende grupper ligger fast, kan to nye uafhængige grupper udfylde hullerne hver for sig. En intakt gruppe kan kun være i ét testsæt.
Hvis de eksisterende grupper må flyttes, kan én ny gruppe være nok. I eksemplet virker ni af de 15 mulige profiler med to klasser. Hver indeholder en klasse fra hver trekant. Fire profiler kræver, at mindst én oprindelig gruppe flyttes, og de andre fem kræver mindst tre. Tjek før indsamlingen, hvilke klasser den nye gruppe indeholder, og hvilke flytninger evalueringen tillader.
Notér den accepterede fordeling, antallene pr. testsæt og hvordan gruppeseparationen blev kontrolleret. Giv evalueringen en ny version, hvis sagslisten ændres. Dækningskontrollen bekræfter de krævede antal og medlemskaber. Tjek også de øvrige krav, herunder om eksemplerne repræsenterer den tilsigtede brug.