Badania
Jak sprawdzić AUROC z walidacji krzyżowej przed wyborem modelu
Zacznij od porównania, którego potrzebujesz. Czy obejmuje wszystkie wymagane części testowe? Czy jednakową wagę ma mieć każda część, czy każda porównywalna para? Jeśli wyniki pochodzą z oddzielnie dopasowanych modeli, ustal, czy ewaluacja pozwala je porównywać między częściami.
Sprawdź, czy każda wymagana część ma wynik
W przypadku binarnego AUROC sprawdź liczbę przypadków dodatnich i ujemnych w każdej części testowej. Zapisz ocenione identyfikatory walidacyjne, wyniki każdego kandydata w poszczególnych częściach i ostrzeżenia z przebiegu.
W fikcyjnym przeszukiwaniu siatki z dziesięcioma przypadkami dwie części mają obie klasy, a trzecia tylko przypadki ujemne. scikit-learn 1.7.2 zgłasza ostrzeżenie i zwraca NaN dla obu kandydatów w trzeciej części. Obie średnie to NaN i obaj kandydaci mają miejsce 1. Wyszukiwanie ponownie dopasowuje pierwszego kandydata z listy, nawet przy error_score="raise". Odwrócenie kolejności zmienia wybór.
W osobnej diagnostyce ograniczonej do dwóch części ze zdefiniowanym wynikiem średnie to 1.00 dla A i 0.375 dla B. W obu kolejnościach wybrany zostaje A. Podając wynik tej diagnostyki, opisz zawężony zakres walidacji. Zanim wybierzesz zwycięzcę, rozwiąż problem pokrycia w pierwotnie wymaganych częściach.
Sprawdź wagi wyników poszczególnych części
Dla nieważonego binarnego AUROC część testowa z p przypadkami dodatnimi i n ujemnymi daje p × n porównań dodatnich z ujemnymi. AUROC wewnątrz części mówi, jak często przypadek dodatni ma wyższy wynik. Remis daje pół punktu. Średnia po częściach waży każdą część tak samo. Ważenie według par wewnątrz części waży tak samo każdą dopuszczalną parę.
W innym fikcyjnym przykładzie obie części mają po sześć wierszy. Część 1 ma jeden przypadek dodatni i pięć ujemnych, więc daje pięć par. Część 2 ma po trzy z każdej klasy i daje dziewięć par. A uzyskuje 5/5 i 4/9. B uzyskuje 2/5 i 8/9.
| Obliczenie | A | B | Wyższy wynik |
|---|---|---|---|
| Równa waga każdej części | 13/18 | 29/45 | A |
| Równa waga każdej pary wewnątrz części | 9/14 | 10/14 | B |
W tym porównaniu wyniki są równe, gdy część 1 ma wagę 20/47. Przy równych wagach części część 1 ma większą wagę. Ważenie według par daje jej 5/14 i prowadzi do wygranej B. Obie metody liczą porównania wewnątrz części.
Sprawdź, jakie założenia wprowadza łączenie wyników
Łącząc najpierw przewidywania, porównujesz też przypadki dodatnie i ujemne z różnych części. W trzecim przykładzie A uzyskuje 3/4 w każdej części, a B po 2/4. Pierwotne wyniki łączne to 13/16 dla A i 11/16 dla B. Dodanie stałej do wyników A w drugiej części zachowuje obie kolejności wewnętrzne, ale obniża łączny wynik A do 10/16. B pozostaje na poziomie 11/16 i wynik porównania się odwraca.
Jeśli pytanie dotyczy kolejności w każdej odłożonej części testowej, podaj wyniki według części i wybrane wagi. Jeśli łączysz przewidywania, zapisz, dlaczego skale osobno dopasowanych modeli są porównywalne. Zachowaj przydział do części, liczby według klas, kolumny wyników, regułę agregacji i wybór modelu, aby inna osoba mogła powtórzyć porównanie.
Trzy przykłady wykorzystują fikcyjne wyniki. Przewidywania z walidacji krzyżowej w scikit-learn · Badanie agregacji wyników walidacji krzyżowej