研究
マクロF1を比較する前に確認すること
マクロF1では、平均に含める各クラスのスコアに同じ重みを付けます。分類モデルを選ぶために使うなら、事例のID、ラベルのバージョン、スコアの計算設定を記録します。scikit-learn 1.7.2と架空のデータを使った三つの例で、予測が同じでも順位が変わる場合を示します。 scikit-learnのF1の定義と設定
ラベルの細かさをそろえてスコアを比較する。 返金、請求書、ログインのラベルが付いた九件の問い合わせでは、Bが0.778対0.556で上回りました。返金と請求書を「請求」にまとめると、Aの四件の誤りは請求の正しい予測になりました。Bの二件の誤りは、依然として別のカテゴリへの誤分類でした。このときAが1.000対0.750で上回りました。ラベルの異なるバージョンでスコアを比較する場合は、対応表を保存し、ラベルの細かさをそろえて両方のモデルのスコアを再計算します。区別がまだ必要な場合は、元のラベルと予測も保存します。
平均に含まれるクラスを確認する。 別のグループでは、正解ラベルに不正取引はなく、Aが一度だけ不正取引と予測しました。このクラスのF1は定義でき、値はゼロでした。Bでは、正解ラベルにも予測にも不正取引はありませんでした。データからクラスを決めると、Bは二クラスで0.667、Aは三クラスで0.600になりました。三クラスを明示して未定義のF1をゼロとして扱うと、Bは0.444に下がりました。同じクラス一覧で未定義のF1を平均から除くと、Bは0.667に戻りました。対象とするクラスの一覧、未定義のスコアの扱い、クラスごとの正解ラベルと予測の件数、実際に平均に含めたクラス数を記録します。
全事例をまとめたか、グループ別のスコアを平均したかを明記する。 八件ずつのバランスの取れた二グループでは、グループごとのマクロF1の平均でAが0.600対0.564で上回りました。16件の予測をまとめて計算すると、Bが0.625対0.600で上回りました。グループの件数が同じなら、グループに同じ重みを付けても、件数で重みを付けても、平均は同じです。全事例をまとめてクラスごとのスコアを出す場合は、真陽性、偽陽性、偽陰性の合計を使います。まとめたスコアを報告するときは、件数を合算してからクラスごとのF1を計算します。グループ別に報告するときは、それぞれのスコアと重みを示します。
スコアと一緒に、ラベル対応表のバージョンとクラスごとの混同行列の件数を保存します。報告書ごとに設定が違う場合は、事例の一覧、ラベルの細かさ、未定義のスコアの扱い、集計方法をそろえて両方のモデルを再評価し、その順位を読み取ります。