研究
モデルを選ぶ前に交差検証のAUROCを確認する方法
必要な比較から考えます。必要なテスト分割をすべて含んでいますか。分割ごとの重みと比較できる組ごとの重みの、どちらをそろえるべきでしょうか。別々に学習したモデルのスコアを使うなら、分割間で比較できるかを判断します。
必要な分割すべてにスコアがあるか確認する
二値分類のAUROCでは、テスト分割ごとに陽性と陰性の件数を確認します。評価した検証事例のID、各候補の分割ごとのスコア、実行時の警告を保存します。
架空の十件を使ったグリッド検索では、二つの分割に両クラスがあり、三つ目には陰性しかありません。scikit-learn 1.7.2は警告を出し、三つ目で両候補にNaNを返します。両候補の平均はNaNで、順位はいずれも1位です。error_score="raise" でも、先に並んだ候補が再学習されます。並びを逆にすると選ばれる候補も変わります。
スコアが定義された二つの分割に限った別の確認では、平均はAが1.00、Bが0.375です。候補順がどちらでもAが選ばれます。この結果を報告するときは、検証対象を絞ったことを明記します。検索で勝者を選ぶ前に、当初必要だった分割の不足を解消します。
分割ごとのスコアの重みを確認する
重みなしの二値分類AUROCでは、陽性p件と陰性n件のテスト分割内で、陽性と陰性の比較がp × n組できます。分割内のAUROCは陽性のスコアが高い割合を示し、同点は半点です。分割ごとの平均では各分割を同じ重みで扱います。分割内の組で重み付けする場合は、比較できる各組を同じ重みで扱います。
別の架空の例では、両方の分割に六行あります。分割1は陽性一件と陰性五件で五組、分割2は各クラス三件で九組です。Aは5/5と4/9です。Bは2/5と8/9です。
| 計算方法 | A | B | スコアが高い方 |
|---|---|---|---|
| 分割ごとに同じ重み | 13/18 | 29/45 | A |
| 分割内の組ごとに同じ重み | 9/14 | 10/14 | B |
この比較では、分割1の重みが20/47なら同点です。分割を等しく重み付けすると、分割1の重みはそれより大きくなります。組による重み付けでは5/14になり、Bが上回ります。どちらも各分割内の比較を数えています。
スコアをまとめて計算する前提を確認する
予測を先にまとめると、異なる分割の陽性と陰性も比較します。三つ目の例では、各分割でAは3/4、Bは2/4です。まとめた元のスコアはAが13/16、Bが11/16です。二つ目の分割でAのスコアに定数を足すと、各分割内の順位は変わりませんが、まとめたAのスコアは10/16に下がります。Bは11/16のままなので、比較結果が逆転します。
各テスト分割内の順位を知りたいなら、分割ごとのスコアと重みを報告します。予測をまとめるなら、別々に学習したモデルのスコア尺度を比較できる根拠を記録します。他の人が比較を再現できるよう、分割の割り当て、クラスごとの件数、スコア列、集計方法、選択結果を一緒に保存します。
三つの例は架空のスコアを使っています。 scikit-learnの交差検証による予測 · 交差検証結果の集計に関する研究