Forschung
Was du vor einem Vergleich von Macro-F1 prüfen solltest
Bei Macro-F1 zählt jede Klasse, die in den Mittelwert eingeht, gleich viel. Wenn du damit einen Klassifikator auswählen willst, halte vorher die Fall-IDs, die Version der Labels und die Bewertungseinstellungen fest. Drei Beispiele mit erfundenen Daten und scikit-learn 1.7.2 zeigen, wie dieselben Vorhersagen zu einer anderen Rangfolge führen können. Definition und Optionen für F1 in scikit-learn
Vergleiche Werte mit derselben Abstufung der Labels. Bei neun Supportfällen mit den Labels Rückerstattung, Rechnung und Anmeldung lag B mit 0.778 zu 0.556 vorne. Wurden Rückerstattung und Rechnung zu Abrechnung zusammengefasst, zählten vier Fehler von A als Treffer für Abrechnung. Die beiden Fehler von B lagen weiterhin in anderen Kategorien als die richtigen Antworten. Danach führte A mit 1.000 zu 0.750. Wenn du Werte für verschiedene Labelversionen vergleichen willst, speichere die Zuordnung und bewerte beide Systeme mit derselben Abstufung. Behalte die ursprünglichen Labels und Vorhersagen, wenn die Unterscheidung für die Aufgabe wichtig bleibt.
Prüfe, welche Klassen in den Mittelwert eingehen. In einer anderen Teilgruppe ohne Betrug in den Referenzdaten sagte A einmal Betrug vorher und erhielt für diese Klasse einen definierten F1-Wert von null. Bei B gab es weder Referenzfälle noch Vorhersagen für Betrug. Mit einer aus den Daten abgeleiteten Klassenliste kam B über zwei Klassen auf 0.667 und A über drei auf 0.600. Mit einer festen Liste aus drei Klassen und null für nicht definierte F1-Werte fiel B auf 0.444. Mit derselben Liste und unter Ausschluss nicht definierter F1-Werte stieg B wieder auf 0.667. Halte die geplante Klassenliste, die Regel für nicht definierte Werte, die Zahl der Referenzfälle und Vorhersagen pro Klasse und die tatsächliche Zahl der berücksichtigten Klassen fest.
Gib an, ob du Fälle zusammengefasst oder Gruppenwerte gemittelt hast. Bei zwei ausgewogenen Gruppen mit je acht Fällen lag A im Durchschnitt der beiden Macro-F1-Werte mit 0.600 zu 0.564 vorne. Bei gemeinsamer Bewertung aller 16 Vorhersagen führte B mit 0.625 zu 0.600. Bei gleich großen Gruppen liefern gleiche Gewichte und Gewichte nach Fallzahl denselben Mittelwert. Für einen gemeinsamen Wert pro Klasse addierst du richtig positive, falsch positive und falsch negative Fälle. Addiere für einen gemeinsamen Bericht diese Zahlen, bevor du F1 für jede Klasse berechnest. Gib bei einer Auswertung nach Gruppen die Gruppenwerte und ihre Gewichte an.
Speichere die versionierte Labelzuordnung und die Zahlen aus der Konfusionsmatrix für jede Klasse zusammen mit dem Wert. Wenn Berichte unterschiedliche Einstellungen verwenden, bewerte beide Systeme mit derselben Fallliste, Labelabstufung, Regel für nicht definierte Werte und Methode zur Zusammenfassung der Ergebnisse, bevor du die Rangfolge interpretierst.