跳至主要內容

選單

研究

如何安排抽樣檢查,找出標籤錯誤

語言: 繁體中文(台灣)

先確定這次檢查要幫助你做什麼決定,再選樣本大小。如果一批資料中有一定數量的錯誤標籤,你能接受多高的風險,也就是檢查一個都沒找到?這取決於怎麼選資料列、審查人員能發現哪些錯誤,以及怎麼分工。

以下例子沿用資料集評估指南中的虛構批次,其中有 120 列和六個錯誤標籤。每個例子著重檢查計畫的不同部分。

依選取資料列的方式計算風險

先假設檢查過的錯誤都會被發現。以相同機率抽出 20 筆不同的資料列時,約有 32.63% 的機率漏掉全部六個錯誤。假如從隨機起點開始,每六列選一列,而且錯誤在連續的六列小組中總是出現在同一位置,就只有六個起點中的一個能找到錯誤。照這種排列,全部漏掉的機率為 83.33%。

從每組六列中獨立選一列,這種排列下的風險就會降到 33.49%。六個錯誤無論出現在什麼位置,這種各組獨立的抽樣方式都不會有更高的漏檢機率。當錯誤出現在固定的週期位置時,只有用到六個不同起點,風險才會低於 5%。若等機率抽樣,且能找出檢查過的所有錯誤,抽 47 列即可達標。

分開看抽樣和發現錯誤的能力

等機率抽 47 列時,若檢查過的錯誤都能找到,一個真實錯誤都沒找到的機率為 4.66%。若樣本中每個錯誤都能以 80% 的機率獨立被發現,這個機率就是 10.06%。依此獨立性假設,抽到 59 列時風險才首次低於 5%。

抽 47 列時,即使每項錯誤的發現機率都同樣是 80%,全部漏掉的機率也可能落在 8.96% 到 23.73% 之間,取決於哪些錯誤會一起被發現。這項計算假設每組樣本以相同機率抽出,且選擇樣本時不受哪些錯誤能被檢查發現影響。在最不利的情況下,80% 的測試中能找出六個錯誤,其餘 20% 則一個都找不出來。即使每列都看一遍,仍有 20% 的機率什麼都找不到。用已知錯誤做測試時,記錄每次可比較的檢查中有哪些錯誤是一起發現的。

計算不同的資料列和獨立發現錯誤的機會

假設共有 60 次檢查資料列的額度。這個例子中,每位審查人員在 80% 的測試中能找出分配給自己的所有錯誤,在其他測試中一個都找不到。資料列以等機率分配,和能否找到錯誤無關。

檢查工作怎麼分配不重複的資料列數一個真實錯誤都找不到的機率
一位審查人員檢查 60 列6021.10%
兩位相互獨立的審查人員各查 30 列,兩組不重疊6010.33%
兩位審查人員能找到錯誤的測試輪次相同,各查 30 列,兩組不重疊6021.10%
兩位相互獨立的審查人員各自檢查同樣的 30 列3020.36%

記下被抽到的資料列 ID、選取規則、每列由誰檢查,以及對發現錯誤的假設。檢查計畫是否符合風險上限。如果目標是至少找出一個真實錯誤,還需要分開檢查誤報、分歧裁決的品質,以及是否符合預期用途。

資料集評估的抽樣例子 · 加拿大統計局的抽樣方法 · 有關可能漏掉錯誤的檢查研究