# Wat je moet controleren voordat je macro-F1-scores vergelijkt

Macro-F1 geeft elke klassescore die meetelt in het gemiddelde hetzelfde gewicht. Wil je met deze score een classificatiemodel kiezen, bewaar dan de ID’s van de voorbeelden, de versie van de labels en de score-instellingen. Drie tests met verzonnen gegevens in scikit-learn 1.7.2 laten zien hoe dezelfde voorspellingen tot verschillende rangschikkingen kunnen leiden. [Definitie en opties voor F1 in scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Vergelijk scores op hetzelfde detailniveau van de labels.** Bij negen supportvragen met de labels terugbetaling, factuur en inloggen stond B voor met 0.778 tegen 0.556. Nadat terugbetaling en factuur waren samengevoegd tot facturering, telden vier fouten van A als juiste voorspellingen voor facturering. Bij de twee fouten van B viel de voorspelling nog steeds in een andere categorie. Daarna stond A voor met 1.000 tegen 0.750. Bewaar bij een vergelijking tussen verschillende labelversies de omzetting en bereken de scores voor beide systemen op hetzelfde detailniveau. Bewaar de oorspronkelijke labels en voorspellingen als het onderscheid voor de taak van belang blijft.

**Controleer welke klassen meetellen in elk gemiddelde.** In een andere groep zonder fraude in de referentielabels voorspelde A één keer fraude en kreeg het voor die klasse een gedefinieerde F1-score van nul. Bij B kwam fraude niet voor in de referenties en ook niet in de voorspellingen. Met klassen die uit de gegevens werden afgeleid, haalde B 0.667 over twee klassen en A 0.600 over drie. Met een vaste lijst van drie klassen en nul voor ongedefinieerde F1-scores zakte B naar 0.444. Met dezelfde lijst en zonder ongedefinieerde F1-scores ging B terug naar 0.667. Leg vast welke klassen je wilt meenemen, welke regel geldt voor ongedefinieerde scores, hoeveel referenties en voorspellingen elke klasse telt en hoeveel klassen echt meetellen.

**Vermeld of je alle gevallen samenvoegt of de groepsscores middelt.** Bij twee gebalanceerde groepen van elk acht gevallen stond A voor op basis van het gemiddelde van hun macro-F1-scores, met 0.600 tegen 0.564. Toen alle 16 voorspellingen samen werden gescoord, stond B voor met 0.625 tegen 0.600. Bij even grote groepen is het gemiddelde gelijk, of je elke groep hetzelfde gewicht geeft of weegt op basis van het aantal gevallen. Voor de gezamenlijke score per klasse tel je ware positieven, fout-positieven en fout-negatieven bij elkaar op. Tel voor een gezamenlijk rapport eerst de aantallen op en bereken daarna de F1-score per klasse. Toon in een rapport per groep de scores en gewichten.

Bewaar bij de score de versie van de labelomzetting en de aantallen in de verwarringsmatrix per klasse. Als rapporten verschillende instellingen gebruiken, scoor dan beide systemen opnieuw met dezelfde gevallen, hetzelfde detailniveau, dezelfde regel voor ongedefinieerde scores en dezelfde manier van samenvoegen voordat je de rangschikking interpreteert.

[Download de scripts en opgeslagen resultaten (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
