Naar de hoofdinhoud

Menu

Onderzoek

De klassendekking controleren voordat je een groepsindeling accepteert

Taal: Nederlands

Houd verwante voorbeelden in dezelfde groep als ze samen in training of test moeten blijven. Groepen kunnen gesprekken, klanten of andere eenheden uit de evaluatie zijn. Leg voordat je een verdeelmethode kiest vast welke klassen en minimumaantallen elk testdeel moet bevatten. Aanwezigheid van klassen en een precies gelijke verdeling zijn verschillende eisen.

Controleer de gemaakte indeling

Bewaar de koppeling tussen groepen en testdelen en tel de gevallen per klasse in elk testdeel. Controleer apart of groepen intact blijven en of alle vereiste klassen aanwezig zijn. Ontbreekt er een vereiste klasse, zet de indeling dan op pauze en kijk of een andere indeling met intacte groepen wel voldoet.

In een verzonnen voorbeeld met 24 rijen gebruikte StratifiedGroupKFold uit scikit-learn 1.7.2 drie delen, zonder te schudden. De eerste set numerieke groeps-ID’s gaf de aantallenparen (4, 2), (4, 6) en (4, 4). De omgekeerde ID’s gaven (4, 6), (4, 0) en (4, 6), met dezelfde rijen, labels en groepsleden. In de eerste indeling komen alle klassen voor, zonder precies gelijke aantallen. De tweede voldoet aan geen van beide eisen. Een indeling met precies (4, 4) was in dit voorbeeld haalbaar.

Controleer of de eis haalbaar is

Als beide delen elke klasse moeten bevatten, moet elke klasse in minstens twee onafhankelijke groepen voorkomen. Kijk naar de verdeling van klassen over groepen om te controleren of alle klassen tegelijk in beide delen kunnen voorkomen.

In twee aparte voorbeelden met 12 rijen komt elke klasse in twee groepen voor en bevat elke groep twee rijen. De twee groepen per klasse moeten dus in tegengestelde delen terechtkomen. Vormen de zes paren een cyclus, dan werkt om en om indelen. Vormen ze twee driehoeken, dan zouden de drie groepen binnen elke driehoek allemaal tegenover elkaar moeten liggen. Elke driehoek dwingt een ontbrekende klasse af. Alle 62 indelingen over twee benoemde, niet-lege delen geven twee oplossingen met volledige dekking voor de cyclus en nul voor de twee driehoeken.

Kies een oplossing die past bij wat vastligt

In het voorbeeld met twee driehoeken mist het eerste gemaakte deel klasse 5 en het tweede klasse 1. Als de bestaande indeling vastligt, kunnen twee nieuwe onafhankelijke groepen de gaten afzonderlijk vullen. Een intacte groep kan maar in één testdeel komen.

Mogen bestaande groepen verhuizen, dan kan één nieuwe groep genoeg zijn. In dit voorbeeld werken negen van de 15 mogelijke profielen met twee klassen. Elk bevat een klasse uit elke driehoek. Voor vier profielen moet minstens één oorspronkelijke groep verhuizen en voor de andere vijf minstens drie. Controleer vóór het verzamelen welke klassen in de nieuwe groep zitten en welke verplaatsingen de evaluatie toestaat.

Leg de geaccepteerde indeling, de aantallen per testdeel en de controle op groepsscheiding vast. Geef een gewijzigde gevallenlijst een eigen evaluatieversie. De dekkingscontrole bevestigt de opgegeven aantallen en lidmaatschappen. Controleer ook de overige eisen, waaronder of de gevallen het beoogde gebruik vertegenwoordigen.

Gegroepeerde kruisvalidatie in scikit-learn