Výzkum
Jak ověřit zastoupení tříd před přijetím rozdělení po skupinách
Související příklady ponechte ve stejné skupině, pokud mají při rozdělení na trénink a test zůstat spolu. Skupiny mohou představovat konverzace, zákazníky nebo jiné jednotky hodnocení. Před výběrem metody zapište třídy požadované v každé testovací části a případné minimální počty. Přítomnost tříd a přesná vyváženost jsou odlišné požadavky.
Zkontrolujte vytvořené rozdělení
Uložte přiřazení skupin k jednotlivým částem a spočítejte případy každé třídy v každé testovací části. Samostatně ověřte, že skupiny zůstaly celé a že jsou zastoupené všechny potřebné třídy. Pokud povinná třída chybí, odložte přijetí rozdělení a ověřte, zda by požadavek splnilo jiné přiřazení celých skupin.
Ve smyšleném příkladu s 24 řádky použil StratifiedGroupKFold z knihovny scikit-learn 1.7.2 tři části bez promíchání. Jedna sada číselných ID skupin dala dvojice počtů (4, 2), (4, 6) a (4, 4). Obrácená ID dala (4, 6), (4, 0) a (4, 6), přičemž se řádky, štítky ani členství ve skupinách nezměnily. První rozdělení obsahuje všechny třídy, ale není přesně vyvážené. Druhé nesplňuje ani jeden požadavek. Přesné rozdělení s (4, 4) zde bylo možné.
Zjistěte, zda lze požadavek splnit
Pokud v obou částech musí být každá třída, musí se každá vyskytovat alespoň ve dvou nezávislých skupinách. Podle přiřazení tříd ke skupinám ověřte, zda mohou být všechny třídy v obou částech současně.
Ve dvou různých příkladech s 12 řádky zastupují každou třídu dvě skupiny a každá skupina má dva řádky. Dvě skupiny každé třídy tedy musí být na opačných stranách. Když šest dvojic tvoří cyklus, stačí skupiny střídat. Když tvoří dva trojúhelníky, tři skupiny každého trojúhelníku by všechny musely být navzájem na opačné straně. V každém trojúhelníku proto některá třída chybí. Z 62 přiřazení ke dvěma označeným neprázdným částem zajišťují úplné zastoupení dvě přiřazení pro cyklus a žádné pro trojúhelníky.
Zvolte opravu, která respektuje pevné podmínky
V příkladu s trojúhelníky chybí v první vytvořené části třída 5 a ve druhé třída 1. Pokud jsou stávající přiřazení pevná, lze mezery doplnit odděleně dvěma novými nezávislými skupinami. Celá skupina může vstoupit pouze do jedné testovací části.
Pokud lze stávající skupiny přesunout, může stačit jedna nová skupina. V příkladu funguje devět z 15 možných profilů se dvěma třídami. Každý obsahuje jednu třídu z každého trojúhelníku. Čtyři profily vyžadují přesun alespoň jedné původní skupiny a zbývajících pět alespoň tří. Před sběrem nové skupiny ověřte její třídy a to, jaké přesuny hodnocení připouští.
Zapište přijaté přiřazení, počty po částech a způsob kontroly, že se skupiny nerozdělily. Při změně seznamu případů vytvořte novou verzi hodnocení. Kontrola zastoupení potvrzuje určené počty a příslušnost. Ověřte i ostatní podmínky přijetí, například zda případy reprezentují zamýšlené použití.