# 比較宏平均 F1 前要檢查什麼

宏平均 F1 給納入平均的各類別分數相同的權重。用這個分數選擇分類模型前，請記錄案例 ID、標籤版本和計分設定。以 scikit-learn 1.7.2 和虛構資料做的三個測試，顯示同一組預測如何得到不同的排名。 [scikit-learn 的 F1 定義和選項](https://scikit-learn.org/1.7/modules/generated/sklearn.metrics.f1_score.html)

**用細分程度相同的標籤比較分數。** 在標記為退款、發票或登入的九筆客服案例中，B 以 0.778 比 0.556 領先。把退款和發票合併成帳務後，A 的四筆錯誤預測變成帳務類別的正確預測。B 的兩筆錯誤仍是分到其他類別。這時 A 以 1.000 比 0.750 領先。若要比較不同標籤版本下的分數，請儲存標籤對照表，並在相同的細分程度下重新計算兩個系統的分數。如果任務仍需區分這些標籤，請保留原始標籤和預測。

**確認每次計算平均時納入哪些類別。** 另一組案例的參考標籤裡沒有詐欺案例。A 有一次預測為詐欺，所以該類別的 F1 有定義，且值為零。B 的參考標籤和預測都沒有詐欺。從資料推定類別時，B 以兩個類別算出 0.667，A 以三個類別算出 0.600。明列三個類別，並把未定義的 F1 當成零，B 的分數降到 0.444。用同一份類別清單，但將未定義的 F1 排除在平均之外，B 的分數回到 0.667。請記錄預計使用的類別清單、未定義分數的處理規則、各類別的參考標籤和預測筆數，以及實際計入平均的類別數。

**說明是合併案例計分，還是先分組計分再取平均。** 有兩組均衡的案例，每組八筆。先算各組的宏平均 F1 再取平均，A 以 0.600 比 0.564 領先。把全部 16 筆預測一起計分，B 則以 0.625 比 0.600 領先。各組大小相同時，給各組相同權重和依案例數加權，算出的平均相同。合併案例來算各類別分數時，使用真陽性、偽陽性和偽陰性的總數。報告合併分數時，先加總這些筆數，再算各類別的 F1。分組報告時，列出各組的分數和權重。

儲存分數時，也請保留標籤對照表的版本和混淆矩陣中各類別的計數。如果報告採用不同設定，請用相同的案例清單、標籤細分程度、未定義分數處理規則和彙整方式重新計算兩個系統的分數，再解讀排名。

[下載重現腳本與儲存的結果（ZIP）](https://sapien1.com/research/compare-macro-f1-evidence/macro-f1-replay.zip)
