研究
ラベルの誤りを見つけるための抜き取り確認を計画する
サンプルの大きさを決める前に、確認の結果で何を判断するかを決めます。データに想定した数の誤ったラベルがある場合、一件も見つからないリスクをどこまで許容できますか。答えは行の選び方、担当者が見つけられる誤り、作業の分け方によって変わります。
以下では、データセット評価ガイドの架空のデータを使います。120行のうちラベルの誤りは六件です。それぞれの例で確認計画の異なる部分を見ます。
行の選び方に合わせてリスクを計算する
まず、確認した行の誤りはすべて見つかると仮定します。異なる20行をどの組み合わせも等確率で選ぶと、六件すべてを見落とす確率は約32.63%です。最初の位置を無作為に選び、そこから六行おきに取る場合を考えます。連続する六行ずつのグループで誤りが毎回同じ位置にあると、六つの開始位置のうち一つからしか見つけられません。この配置で全件を見落とす確率は83.33%です。
六行ずつの各グループから独立に一行を選ぶと、この配置で全件を見落とす確率は33.49%になります。六件の配置を変えても、この独立したグループ抽出ではこれが最大の見落とし確率です。誤りが周期的に並ぶこの例で5%未満にするには、異なる開始位置を六つとも使う必要があります。どの組み合わせも等確率で選び、確認した誤りをすべて見つける場合は、47行でこの基準に達します。
行を選ぶことと誤りを見つけることを分けて考える
等確率で47行を選んだ場合、確認した誤りをすべて見つけられるなら、実際の誤りが一件も見つからない確率は4.66%です。サンプル内の各誤りを互いに独立に80%の確率で見つけられる場合、その確率は10.06%です。この独立性を仮定すると、リスクが初めて5%未満になるのは59行です。
47行では、一件あたり同じ80%の発見確率でも、どの誤りが一緒に見つかるかによって全件を見落とす確率は8.96%から23.73%まで変わります。この計算では、等確率の抽出と、どの誤りを見つけられるかが独立だと仮定します。最も不利な場合、80%の試行では六件すべてを見つけられますが、残る20%では一件も見つけられません。この場合、全行を一度ずつ確認しても何も見つからない確率は20%です。既知の誤りを使った試験では、比較できる各確認回でどの誤りを一緒に見つけたか記録します。
異なる行の数と、独立して誤りを見つける機会を数える
行を確認できる回数が合計60回だとします。この例では各担当者は80%の試行で自分に割り当てられた誤りをすべて見つけられ、残りの試行では一件も見つけられません。行の割り当てはどの組み合わせも等確率で、誤りを見つけられるかどうかには左右されません。
| 確認作業の分け方 | 異なる行の数 | 実際の誤りが一件も見つからない確率 |
|---|---|---|
| 一人の担当者が60行を確認 | 60 | 21.10% |
| 独立した二人の担当者が重複しない30行ずつを確認 | 60 | 10.33% |
| 誤りを見つけられる試行が同じ二人の担当者が重複しない30行ずつを確認 | 60 | 21.10% |
| 独立した二人の担当者が同じ30行をそれぞれ確認 | 30 | 20.36% |
抽出した行のID、選び方、各行を誰が確認したか、誤りの発見に関する前提を記録します。できた計画を許容リスクと照らし合わせます。実際の誤りを一件以上見つけるための確認では、誤検出、意見の食い違いを解決する手順の質、利用目的への適合性も別に確認します。