研究
グループ単位の評価分割を採用する前にクラスの網羅性を確かめる方法
学習用とテスト用に分けるときにまとめておく必要のある事例は、同じグループにします。グループは会話、顧客、その他の評価で定めた単位です。分割方法を選ぶ前に、各テスト分割に必要なクラスと最低件数を記録します。全クラスが含まれることと、件数が厳密に均衡することは別の要件です。
実際に得られた分割を確認する
各グループをどの分割に割り当てたかを保存し、各テスト分割でクラスごとの件数を数えます。グループが分断されていないかと、必要なクラスがあるかは別々に確認します。必要なクラスが欠けていれば、採用を保留し、グループを分けずに別の割り当てで要件を満たせるか調べます。
架空の24行の例では、scikit-learn 1.7.2の StratifiedGroupKFold でシャッフルを無効にして三つに分けました。ある数値グループIDではクラス件数の組が (4, 2)、(4, 6)、(4, 4) でした。IDを逆にすると (4, 6)、(4, 0)、(4, 6) になり、行、ラベル、所属グループは変わりませんでした。最初は全クラスがありますが、件数は厳密に均衡していません。二度目は両方の要件を満たしません。この例では厳密な (4, 4) の割り当ても可能でした。
要件を満たせるか確認する
二つの分割に全クラスが必要なら、各クラスが少なくとも二つの独立したグループにある必要があります。クラスとグループの対応を見て、すべてのクラスを両方の分割に同時に入れられるか確認します。
別々の12行の例では、どちらも各クラスは二つのグループにあり、各グループには二行あります。クラスごとに二つのグループを別々の分割に入れる必要があります。六つの組が一つの輪になっていれば、交互に割り当てる方法で解決できます。二つの三角形になると、各三角形の三グループはどの二つも別々の分割に入る必要があります。そのため、どちらの三角形でも欠けるクラスがあります。区別された空でない二分割への全62通りの割り当てでは、全クラスを含む方法は輪で二通り、三角形ではありません。
固定条件を守れる修正方法を選ぶ
二つの三角形では、得られた最初の分割にクラス5、二つ目の分割にクラス1がありません。既存の割り当てを固定する場合、独立した新しいグループを二つ追加して別々に補えます。一つのグループは一つのテスト分割にしか入れられません。
既存のグループを移せる場合は、新しいグループ一つで足りることがあります。この例では二クラスの組み合わせ15通りのうち九通りが使えます。どの組み合わせにも各三角形のクラスが一つずつ入ります。四通りでは元のグループを少なくとも一つ、残る五通りでは少なくとも三つ移す必要があります。集める前に、新しいグループに実際に含まれるクラスと、許される移動を確認します。
採用した割り当て、各分割の件数、グループが分断されていないことの確認方法を記録します。評価対象の一覧を変える場合は、評価の版も分けます。網羅性の確認では、指定された件数と所属が分かります。事例が想定の用途を代表するかなど、ほかの採用条件も確認します。