Cercetare
Ce să verifici înainte să compari scorurile macro-F1
Macro-F1 dă aceeași pondere scorului fiecărei clase care intră în medie. Înainte să folosești acest scor pentru a alege un clasificator, notează ID-urile cazurilor, versiunea etichetelor și setările de calcul. Trei teste cu date fictive în scikit-learn 1.7.2 arată cum aceleași predicții pot duce la clasamente diferite. Definiția și opțiunile F1 în scikit-learn
Compară scorurile la același nivel de detaliu al etichetelor. În nouă cazuri de asistență cu etichetele rambursare, factură și autentificare, B conducea cu 0.778 față de 0.556. Când rambursare și factură au fost reunite în categoria facturare, patru greșeli ale lui A au devenit predicții corecte pentru această categorie. Cele două greșeli ale lui B au rămas confuzii între categorii diferite. A a trecut în față cu 1.000 față de 0.750. Dacă vrei să compari scoruri din versiuni diferite ale etichetelor, salvează corespondența dintre etichete și recalculează scorurile ambelor sisteme la același nivel de detaliu. Păstrează etichetele și predicțiile inițiale dacă distincția încă este importantă pentru sarcină.
Verifică ce clase intră în fiecare medie. Într-un alt grup, fără cazuri de fraudă în etichetele de referință, A a prezis fraudă o dată și a primit un F1 definit, egal cu zero, pentru acea clasă. La B nu a apărut fraudă nici în referințe, nici în predicții. Când clasele au fost deduse din date, B a obținut 0.667 pe două clase, iar A 0.600 pe trei. Cu o listă explicită de trei clase și zero pentru scorurile F1 nedefinite, B a coborât la 0.444. Cu aceeași listă și după excluderea scorurilor F1 nedefinite, B a revenit la 0.667. Notează lista de clase dorită, regula pentru scorurile nedefinite, numărul de referințe și predicții pe clasă și câte clase au intrat efectiv în medie.
Spune dacă ai reunit cazurile sau ai făcut media scorurilor pe grupuri. În două grupuri echilibrate de câte opt cazuri, media celor două scoruri macro-F1 l-a pus pe A în față, cu 0.600 față de 0.564. Calculând un singur scor pentru toate cele 16 predicții, B a trecut în față cu 0.625 față de 0.600. Când grupurile au aceeași mărime, media este aceeași cu ponderi egale sau cu ponderi bazate pe numărul de cazuri. Scorul agregat pentru o clasă folosește totalurile de rezultate adevărat pozitive, fals pozitive și fals negative. Pentru un raport agregat, adună aceste valori înainte să calculezi F1 pentru fiecare clasă. Într-un raport pe grupuri, arată scorurile grupurilor și ponderile lor.
Păstrează împreună cu scorul versiunea corespondenței dintre etichete și valorile din matricea de confuzie pentru fiecare clasă. Dacă setările diferă între rapoarte, recalculează scorurile ambelor sisteme pentru aceleași cazuri, la același nivel de detaliu, cu aceeași regulă pentru valorile nedefinite și aceeași metodă de agregare, înainte să interpretezi clasamentul.