# Dette bør du sjekke før du sammenligner macro-F1

Macro-F1 gir samme vekt til poengsummen for hver klasse som inngår i gjennomsnittet. Før du bruker målet til å velge en klassifiseringsmodell, noter saks-ID-ene, etikettversjonen og beregningsinnstillingene. Tre tester med oppdiktede data i scikit-learn 1.7.2 viser hvordan de samme prediksjonene kan gi ulike rangeringer. [Definisjon og innstillinger for F1 i scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Sammenlign poeng på samme detaljeringsnivå.** I ni kundesaker med etikettene refusjon, faktura og innlogging ledet B med 0.778 mot 0.556. Da refusjon og faktura ble slått sammen til fakturering, ble fire av A sine feil til riktige treff for fakturering. B sine to feil gjaldt fortsatt ulike kategorier. Da ledet A med 1.000 mot 0.750. Hvis du skal sammenligne poengsummer fra ulike etikettversjoner, lagre oversikten over hvilke etiketter som tilsvarer hverandre, og beregn poengsummen for begge systemene på samme nivå. Behold de opprinnelige etikettene og prediksjonene hvis skillet fortsatt er viktig for oppgaven.

**Sjekk hvilke klasser som inngår i hvert gjennomsnitt.** I en annen gruppe uten svindel i referanseetikettene predikerte A svindel én gang og fikk en definert F1 på null for klassen. B hadde ingen svindeltilfeller i referansene eller i prediksjonene. Da klassene ble utledet fra dataene, fikk B 0.667 over to klasser og A 0.600 over tre. Med en fast liste på tre klasser og null for udefinert F1 falt B til 0.444. Med samme liste og udefinert F1 utelatt steg B tilbake til 0.667. Noter den tiltenkte klasselisten, regelen for udefinerte poengsummer, antallet referanser og prediksjoner per klasse og hvor mange klasser som faktisk inngår i gjennomsnittet.

**Oppgi om du slo sammen sakene eller tok gjennomsnittet av gruppenes poengsummer.** I to balanserte grupper på åtte saker hver ga gjennomsnittet av de to macro-F1-verdiene A ledelsen, 0.600 mot 0.564. Ved å beregne poeng for alle 16 prediksjonene samlet kom B foran med 0.625 mot 0.600. Når gruppene er like store, blir gjennomsnittet det samme med lik vekt eller med vekt etter antall saker. En samlet poengsum for en klasse bruker summen av sanne positive, falske positive og falske negative. I en samlet rapport legger du sammen tellingene før du beregner F1 for hver klasse. I en rapport per gruppe viser du gruppenes poengsummer og vekter.

Lagre versjonen av etikettkartet og tallene fra forvekslingsmatrisen for hver klasse sammen med poengsummen. Hvis rapportene bruker ulike innstillinger, beregn begge systemenes poeng på nytt med samme saker, detaljeringsnivå, regel for udefinerte poengsummer og metode for å slå sammen resultatene, før du tolker rangeringen.

[Last ned skriptene og de lagrede resultatene (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
