メインコンテンツに移動

メニュー

研究

ラベルの誤りを見つけるための抜き取り確認を計画する

言語: 日本語

サンプルの大きさを決める前に、確認の結果で何を判断するかを決めます。データに想定した数の誤ったラベルがある場合、一件も見つからないリスクをどこまで許容できますか。答えは行の選び方、担当者が見つけられる誤り、作業の分け方によって変わります。

以下では、データセット評価ガイドの架空のデータを使います。120行のうちラベルの誤りは六件です。それぞれの例で確認計画の異なる部分を見ます。

行の選び方に合わせてリスクを計算する

まず、確認した行の誤りはすべて見つかると仮定します。異なる20行をどの組み合わせも等確率で選ぶと、六件すべてを見落とす確率は約32.63%です。最初の位置を無作為に選び、そこから六行おきに取る場合を考えます。連続する六行ずつのグループで誤りが毎回同じ位置にあると、六つの開始位置のうち一つからしか見つけられません。この配置で全件を見落とす確率は83.33%です。

六行ずつの各グループから独立に一行を選ぶと、この配置で全件を見落とす確率は33.49%になります。六件の配置を変えても、この独立したグループ抽出ではこれが最大の見落とし確率です。誤りが周期的に並ぶこの例で5%未満にするには、異なる開始位置を六つとも使う必要があります。どの組み合わせも等確率で選び、確認した誤りをすべて見つける場合は、47行でこの基準に達します。

行を選ぶことと誤りを見つけることを分けて考える

等確率で47行を選んだ場合、確認した誤りをすべて見つけられるなら、実際の誤りが一件も見つからない確率は4.66%です。サンプル内の各誤りを互いに独立に80%の確率で見つけられる場合、その確率は10.06%です。この独立性を仮定すると、リスクが初めて5%未満になるのは59行です。

47行では、一件あたり同じ80%の発見確率でも、どの誤りが一緒に見つかるかによって全件を見落とす確率は8.96%から23.73%まで変わります。この計算では、等確率の抽出と、どの誤りを見つけられるかが独立だと仮定します。最も不利な場合、80%の試行では六件すべてを見つけられますが、残る20%では一件も見つけられません。この場合、全行を一度ずつ確認しても何も見つからない確率は20%です。既知の誤りを使った試験では、比較できる各確認回でどの誤りを一緒に見つけたか記録します。

異なる行の数と、独立して誤りを見つける機会を数える

行を確認できる回数が合計60回だとします。この例では各担当者は80%の試行で自分に割り当てられた誤りをすべて見つけられ、残りの試行では一件も見つけられません。行の割り当てはどの組み合わせも等確率で、誤りを見つけられるかどうかには左右されません。

確認作業の分け方異なる行の数実際の誤りが一件も見つからない確率
一人の担当者が60行を確認6021.10%
独立した二人の担当者が重複しない30行ずつを確認6010.33%
誤りを見つけられる試行が同じ二人の担当者が重複しない30行ずつを確認6021.10%
独立した二人の担当者が同じ30行をそれぞれ確認3020.36%

抽出した行のID、選び方、各行を誰が確認したか、誤りの発見に関する前提を記録します。できた計画を許容リスクと照らし合わせます。実際の誤りを一件以上見つけるための確認では、誤検出、意見の食い違いを解決する手順の質、利用目的への適合性も別に確認します。

データセット評価の抜き取り例 · カナダ統計局のサンプリング方法 · 誤りを見落とすことのある検査についての研究