跳至主要內容

選單

研究

比較宏平均 F1 前要檢查什麼

語言: 繁體中文(台灣)

宏平均 F1 給納入平均的各類別分數相同的權重。用這個分數選擇分類模型前,請記錄案例 ID、標籤版本和計分設定。以 scikit-learn 1.7.2 和虛構資料做的三個測試,顯示同一組預測如何得到不同的排名。 scikit-learn 的 F1 定義和選項

用細分程度相同的標籤比較分數。 在標記為退款、發票或登入的九筆客服案例中,B 以 0.778 比 0.556 領先。把退款和發票合併成帳務後,A 的四筆錯誤預測變成帳務類別的正確預測。B 的兩筆錯誤仍是分到其他類別。這時 A 以 1.000 比 0.750 領先。若要比較不同標籤版本下的分數,請儲存標籤對照表,並在相同的細分程度下重新計算兩個系統的分數。如果任務仍需區分這些標籤,請保留原始標籤和預測。

確認每次計算平均時納入哪些類別。 另一組案例的參考標籤裡沒有詐欺案例。A 有一次預測為詐欺,所以該類別的 F1 有定義,且值為零。B 的參考標籤和預測都沒有詐欺。從資料推定類別時,B 以兩個類別算出 0.667,A 以三個類別算出 0.600。明列三個類別,並把未定義的 F1 當成零,B 的分數降到 0.444。用同一份類別清單,但將未定義的 F1 排除在平均之外,B 的分數回到 0.667。請記錄預計使用的類別清單、未定義分數的處理規則、各類別的參考標籤和預測筆數,以及實際計入平均的類別數。

說明是合併案例計分,還是先分組計分再取平均。 有兩組均衡的案例,每組八筆。先算各組的宏平均 F1 再取平均,A 以 0.600 比 0.564 領先。把全部 16 筆預測一起計分,B 則以 0.625 比 0.600 領先。各組大小相同時,給各組相同權重和依案例數加權,算出的平均相同。合併案例來算各類別分數時,使用真陽性、偽陽性和偽陰性的總數。報告合併分數時,先加總這些筆數,再算各類別的 F1。分組報告時,列出各組的分數和權重。

儲存分數時,也請保留標籤對照表的版本和混淆矩陣中各類別的計數。如果報告採用不同設定,請用相同的案例清單、標籤細分程度、未定義分數處理規則和彙整方式重新計算兩個系統的分數,再解讀排名。