Przejdź do treści głównej

Menu

Badania

Jak sprawdzić obecność klas przed przyjęciem podziału grupowego

Język: Polski

Trzymaj powiązane przykłady w jednej grupie, jeśli mają pozostać razem przy podziale na trening i test. Grupą może być rozmowa, klient lub inna jednostka określona w ewaluacji. Przed wyborem metody podziału zapisz klasy wymagane w każdej części testowej i ewentualne liczby minimalne. Obecność klas i dokładna równowaga to odrębne wymagania.

Sprawdź uzyskany podział

Zapisz przypisanie grup do części i policz przypadki każdej klasy w każdej części testowej. Sprawdź osobno, czy grupy pozostają całe i czy wymagane klasy są obecne. Jeśli brakuje wymaganej klasy, wstrzymaj przyjęcie podziału i sprawdź, czy inne rozmieszczenie całych grup spełni warunek.

W fikcyjnym przykładzie z 24 wierszami StratifiedGroupKFold z biblioteki scikit-learn 1.7.2 użył trzech części bez tasowania. Jeden zestaw liczbowych identyfikatorów grup dał pary liczebności (4, 2), (4, 6) i (4, 4). Po odwróceniu identyfikatorów wyszły (4, 6), (4, 0) i (4, 6), przy zachowaniu wierszy, etykiet i członkostwa w grupach. Pierwszy wynik obejmuje wszystkie klasy bez dokładnej równowagi. Drugi nie spełnia żadnego warunku. Dokładny podział na (4, 4) był tu możliwy.

Sprawdź, czy warunek da się spełnić

Jeśli w obu częściach mają być wszystkie klasy, każda klasa musi wystąpić w co najmniej dwóch niezależnych grupach. Sprawdź powiązania klas z grupami, aby ustalić, czy wszystkie klasy mogą jednocześnie pojawić się w obu częściach.

W dwóch odrębnych przykładach po 12 wierszy każda klasa występuje w dwóch grupach, a każda grupa ma dwa wiersze. Grupy każdej klasy muszą więc trafić po jednej do każdej części. Jeśli sześć par tworzy cykl, wystarczy przypisywać grupy na przemian. Jeśli tworzą dwa trójkąty, każda z trzech grup w trójkącie musiałaby być po przeciwnej stronie niż pozostałe. Każdy trójkąt wymusza brak. Spośród 62 przydziałów do dwóch nazwanych, niepustych części dwa dają pełne pokrycie cyklu i żaden nie daje go dla trójkątów.

Wybierz rozwiązanie zgodne z ograniczeniami

W przykładzie z dwoma trójkątami w pierwszej uzyskanej części brakuje klasy 5, a w drugiej klasy 1. Jeśli dotychczasowe przypisania są stałe, dwie nowe niezależne grupy mogą oddzielnie uzupełnić braki. Cała grupa może wejść tylko do jednej części testowej.

Jeśli istniejące grupy można przenosić, może wystarczyć jedna nowa. W przykładzie działa dziewięć z 15 możliwych profili z dwiema klasami. Każdy zawiera po jednej klasie z każdego trójkąta. Cztery profile wymagają przeniesienia co najmniej jednej pierwotnej grupy, a pozostałe pięć co najmniej trzech. Przed zebraniem grupy sprawdź, jakie ma klasy i jakie przeniesienia są dozwolone.

Zapisz przyjęty przydział, liczby dla każdej części oraz sposób sprawdzenia, czy grup nie podzielono. Zmianie listy przypadków nadaj nową wersję ewaluacji. Kontrola pokrycia potwierdza wymagane liczby i przynależność. Sprawdź też pozostałe warunki, w tym zgodność przypadków z zamierzonym zastosowaniem.

Grupowa walidacja krzyżowa w scikit-learn