Výzkum
Co zkontrolovat před porovnáním skóre macro-F1
Macro-F1 dává stejnou váhu skóre každé třídy zahrnuté do průměru. Než podle něj vyberete klasifikační model, uložte ID případů, verzi štítků a nastavení výpočtu. Tři pokusy se smyšlenými daty v knihovně scikit-learn 1.7.2 ukazují, jak mohou stejné predikce vést k různému pořadí. Definice a nastavení F1 v knihovně scikit-learn
Porovnávejte skóre se stejnou podrobností štítků. V devíti případech zákaznické podpory se štítky vrácení peněz, faktura a přihlášení vedl B se skóre 0.778 proti 0.556. Po sloučení štítků vrácení peněz a faktura do kategorie fakturace se čtyři chyby A staly správnými predikcemi pro tuto kategorii. Obě chyby B se dál týkaly záměny různých kategorií. A pak vedl se skóre 1.000 proti 0.750. Pokud potřebujete porovnat skóre mezi různými verzemi štítků, uložte jejich mapování a přepočítejte oba systémy na stejné úrovni podrobnosti. Pokud na rozdílu při řešení úlohy stále záleží, zachovejte původní štítky i predikce.
Zkontrolujte, které třídy vstupují do průměru. V jiné skupině, kde ve správných odpovědích nebyl žádný podvod, A jednou předpověděl podvod a pro tuto třídu dostal definované F1 rovné nule. U B nebyl podvod ani ve správných odpovědích, ani v predikcích. Při odvození tříd z dat získal B skóre 0.667 ze dvou tříd a A 0.600 ze tří. Když byly výslovně uvedeny tři třídy a nedefinované F1 se počítalo jako nula, B klesl na 0.444. Se stejným seznamem a po vynechání nedefinovaných F1 se B vrátil na 0.667. Zaznamenejte plánovaný seznam tříd, pravidlo pro nedefinovaná skóre, počty správných označení a predikcí v každé třídě a počet tříd skutečně započtených do průměru.
Uveďte, zda jste spojili případy, nebo zprůměrovali skóre skupin. Ve dvou vyvážených skupinách po osmi případech vedl podle průměru dvou skóre macro-F1 model A, 0.600 proti 0.564. Při společném výpočtu pro všech 16 predikcí vedl B, 0.625 proti 0.600. U stejně velkých skupin je průměr stejný, ať mají stejnou váhu, nebo váhu podle počtu případů. Společné skóre pro každou třídu vychází ze součtů skutečně pozitivních, falešně pozitivních a falešně negativních případů. Pro společný výsledek nejprve sečtěte počty a potom vypočítejte F1 pro každou třídu. U výsledků po skupinách uveďte skóre skupin a jejich váhy.
Spolu se skóre uložte verzi mapování štítků a počty z matice záměn pro jednotlivé třídy. Pokud se nastavení v různých zprávách liší, přepočítejte skóre obou systémů se stejnými případy, podrobností štítků, pravidlem pro nedefinovaná skóre a způsobem souhrnu, než vyložíte pořadí.