# Det här bör du kontrollera innan du jämför macro-F1

Macro-F1 ger poängen för varje klass i genomsnittet lika stor vikt. Innan du använder måttet för att välja en klassificeringsmodell, anteckna fallens ID:n, etikettversionen och inställningarna för beräkningen. Tre försök med påhittade data i scikit-learn 1.7.2 visar hur samma förutsägelser kan ge olika rangordningar. [Definition och inställningar för F1 i scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Jämför poäng med samma detaljnivå för etiketterna.** Bland nio supportärenden med etiketterna återbetalning, faktura och inloggning ledde B med 0.778 mot 0.556. När återbetalning och faktura slogs ihop till fakturering blev fyra av A:s fel rätt för den nya kategorin. B:s två fel låg fortfarande i andra kategorier än de rätta. Då ledde A med 1.000 mot 0.750. Om du behöver jämföra olika etikettversioner, spara hur etiketterna hör ihop och beräkna poängen igen för båda systemen på samma nivå. Behåll de ursprungliga etiketterna och förutsägelserna när skillnaden fortfarande spelar roll för uppgiften.

**Kontrollera vilka klasser som ingår i varje genomsnitt.** I en annan grupp utan bedrägeri i facit förutsade A bedrägeri en gång och fick en definierad F1-poäng på noll för den klassen. För B fanns bedrägeri varken i facit eller i förutsägelserna. När klasserna hämtades från data fick B 0.667 över två klasser och A 0.600 över tre. Med en fast lista över tre klasser och noll för odefinierad F1 sjönk B till 0.444. Med samma lista och utan de odefinierade F1-värdena steg B tillbaka till 0.667. Anteckna vilka klasser som ska ingå, regeln för odefinierade poäng, antalet facitposter och förutsägelser per klass och hur många klasser som faktiskt ingick i genomsnittet.

**Ange om du slog ihop fallen eller tog genomsnittet av gruppernas poäng.** Grupperna var balanserade och hade åtta fall var. Genomsnittet av gruppernas två macro-F1-värden gav A ledningen, 0.600 mot 0.564. När alla 16 förutsägelser bedömdes tillsammans ledde B med 0.625 mot 0.600. När grupperna är lika stora blir genomsnittet detsamma med lika vikter som med vikter efter antal fall. För en gemensam klasspoäng summerar du sant positiva, falskt positiva och falskt negativa utfall. Slå ihop antalen före klassernas F1-beräkning för en gemensam rapport. Visa gruppernas poäng och vikter för en rapport per grupp.

Spara versionen av etikettmappningen och siffrorna från förväxlingsmatrisen per klass tillsammans med poängen. Om rapporterna använder olika inställningar, beräkna poängen igen för båda systemen med samma fall, detaljnivå, regel för odefinierade poäng och sätt att räkna ihop resultaten innan du tolkar rangordningen.

[Ladda ner skripten och de sparade resultaten (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
