# Cosa controllare prima di confrontare i punteggi macro-F1

Il macro-F1 assegna lo stesso peso al punteggio di ogni classe inclusa nella media. Prima di usarlo per scegliere un classificatore, annota gli ID dei casi, la versione delle etichette e le impostazioni di calcolo. Tre prove con dati inventati in scikit-learn 1.7.2 mostrano come le stesse previsioni possano produrre classifiche diverse. [Definizione e opzioni del punteggio F1 in scikit-learn](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**Confronta i punteggi allo stesso livello di dettaglio delle etichette.** Su nove richieste di assistenza con le etichette rimborso, fattura e accesso, B era in testa per 0.778 a 0.556. Unendo rimborso e fattura in fatturazione, quattro errori di A sono diventati previsioni corrette per fatturazione. I due errori di B continuavano a riguardare categorie diverse. A è passato in testa per 1.000 a 0.750. Per confrontare i punteggi ottenuti con versioni diverse delle etichette, salva la corrispondenza e ricalcola i punteggi di entrambi i sistemi allo stesso livello. Conserva le etichette e le previsioni originali se la distinzione conta ancora per il compito.

**Controlla quali classi entrano in ogni media.** In un altro gruppo, senza casi di frode nelle etichette di riferimento, A ha previsto una frode una volta e ha ottenuto un F1 definito pari a zero per quella classe. B non aveva casi di frode nei riferimenti o nelle previsioni. Ricavando le classi dai dati, B ha ottenuto 0.667 su due classi e A 0.600 su tre. Con un elenco esplicito di tre classi e il valore zero per gli F1 non definiti, B è sceso a 0.444. Con lo stesso elenco, escludendo gli F1 non definiti, B è tornato a 0.667. Annota l’elenco previsto, la regola per i valori non definiti, il numero di riferimenti e previsioni per classe e quante classi entrano davvero nella media.

**Indica se hai unito i casi o fatto la media dei punteggi dei gruppi.** In due gruppi bilanciati da otto casi, la media dei due punteggi macro-F1 vedeva A in testa per 0.600 a 0.564. Calcolando un solo punteggio sulle 16 previsioni, B era in testa per 0.625 a 0.600. Con gruppi della stessa dimensione, la media è uguale sia con pesi identici sia con pesi basati sul numero di casi. Il punteggio congiunto di una classe usa i totali dei veri positivi, dei falsi positivi e dei falsi negativi. Per un risultato congiunto, somma i conteggi prima di calcolare l’F1 di ogni classe. Se riporti i risultati per gruppo, mostra i punteggi e i relativi pesi.

Conserva insieme al punteggio la versione della corrispondenza tra etichette e i conteggi della matrice di confusione per ogni classe. Se le impostazioni cambiano tra un rapporto e l’altro, ricalcola i punteggi di entrambi i sistemi con gli stessi casi, lo stesso dettaglio, la stessa regola per i valori non definiti e lo stesso metodo di aggregazione prima di interpretare la classifica.

[Scarica gli script e i risultati salvati (ZIP)](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
