Badania
Co sprawdzić przed porównaniem wyników macro-F1
Macro-F1 nadaje tę samą wagę wynikowi każdej klasy uwzględnionej w średniej. Przed wyborem klasyfikatora na tej podstawie zapisz identyfikatory przypadków, wersję etykiet i ustawienia obliczeń. Trzy próby z fikcyjnymi danymi w scikit-learn 1.7.2 pokazują, jak te same przewidywania mogą dać różną kolejność modeli. Definicja i opcje F1 w scikit-learn
Porównuj wyniki na tym samym poziomie szczegółowości etykiet. W dziewięciu sprawach obsługi klienta z etykietami zwrot pieniędzy, faktura i logowanie B prowadził z wynikiem 0.778 wobec 0.556. Po połączeniu etykiet zwrot pieniędzy i faktura w kategorię rozliczenia cztery błędy A stały się trafieniami dla tej kategorii. Dwa błędy B nadal polegały na pomyleniu różnych kategorii. A wyszedł na prowadzenie z wynikiem 1.000 wobec 0.750. Aby porównać wyniki z różnych wersji etykiet, zapisz odwzorowanie i ponownie oceń oba systemy na tym samym poziomie szczegółowości. Zachowaj oryginalne etykiety i przewidywania, jeśli to rozróżnienie nadal ma znaczenie w zadaniu.
Sprawdź, które klasy wchodzą do każdej średniej. W innej grupie, bez przypadków oszustwa w danych referencyjnych, A raz przewidział oszustwo i otrzymał dla tej klasy zdefiniowany wynik F1 równy zero. U B oszustwa nie było ani w danych referencyjnych, ani w przewidywaniach. Po wyznaczeniu klas na podstawie danych B uzyskał 0.667 dla dwóch klas, a A 0.600 dla trzech. Przy jawnej liście trzech klas i zerze zamiast niezdefiniowanego F1 wynik B spadł do 0.444. Przy tej samej liście i pominięciu niezdefiniowanego F1 B wrócił do 0.667. Zapisz planowaną listę klas, regułę dla niezdefiniowanych wyników, liczbę etykiet referencyjnych i przewidywań w każdej klasie oraz liczbę klas faktycznie uwzględnionych w średniej.
Podaj, czy połączono przypadki, czy uśredniono wyniki grup. W dwóch zrównoważonych grupach po osiem przypadków średnia wyników macro-F1 dała prowadzenie A, 0.600 wobec 0.564. Po wspólnej ocenie wszystkich 16 przewidywań prowadził B, 0.625 wobec 0.600. Gdy grupy są tej samej wielkości, średnia jest taka sama przy równych wagach i przy wagach według liczby przypadków. Wspólny wynik klasy wykorzystuje sumy wyników prawdziwie dodatnich, fałszywie dodatnich i fałszywie ujemnych. W raporcie zbiorczym dodaj te liczby przed obliczeniem F1 dla każdej klasy. W raporcie według grup podaj wyniki i wagi grup.
Zachowaj przy wyniku wersję odwzorowania etykiet i liczby z macierzy pomyłek dla każdej klasy. Gdy raporty różnią się ustawieniami, przelicz wyniki obu systemów dla tych samych przypadków, szczegółowości etykiet, reguły dla niezdefiniowanych wyników i sposobu podsumowania. Dopiero wtedy zinterpretuj kolejność.