# 如何安排抽樣檢查，找出標籤錯誤

先確定這次檢查要幫助你做什麼決定，再選樣本大小。如果一批資料中有一定數量的錯誤標籤，你能接受多高的風險，也就是檢查一個都沒找到？這取決於怎麼選資料列、審查人員能發現哪些錯誤，以及怎麼分工。

以下例子沿用資料集評估指南中的虛構批次，其中有 120 列和六個錯誤標籤。每個例子著重檢查計畫的不同部分。

## 依選取資料列的方式計算風險

先假設檢查過的錯誤都會被發現。以相同機率抽出 20 筆不同的資料列時，約有 32.63% 的機率漏掉全部六個錯誤。假如從隨機起點開始，每六列選一列，而且錯誤在連續的六列小組中總是出現在同一位置，就只有六個起點中的一個能找到錯誤。照這種排列，全部漏掉的機率為 83.33%。

從每組六列中獨立選一列，這種排列下的風險就會降到 33.49%。六個錯誤無論出現在什麼位置，這種各組獨立的抽樣方式都不會有更高的漏檢機率。當錯誤出現在固定的週期位置時，只有用到六個不同起點，風險才會低於 5%。若等機率抽樣，且能找出檢查過的所有錯誤，抽 47 列即可達標。

## 分開看抽樣和發現錯誤的能力

等機率抽 47 列時，若檢查過的錯誤都能找到，一個真實錯誤都沒找到的機率為 4.66%。若樣本中每個錯誤都能以 80% 的機率獨立被發現，這個機率就是 10.06%。依此獨立性假設，抽到 59 列時風險才首次低於 5%。

抽 47 列時，即使每項錯誤的發現機率都同樣是 80%，全部漏掉的機率也可能落在 8.96% 到 23.73% 之間，取決於哪些錯誤會一起被發現。這項計算假設每組樣本以相同機率抽出，且選擇樣本時不受哪些錯誤能被檢查發現影響。在最不利的情況下，80% 的測試中能找出六個錯誤，其餘 20% 則一個都找不出來。即使每列都看一遍，仍有 20% 的機率什麼都找不到。用已知錯誤做測試時，記錄每次可比較的檢查中有哪些錯誤是一起發現的。

## 計算不同的資料列和獨立發現錯誤的機會

假設共有 60 次檢查資料列的額度。這個例子中，每位審查人員在 80% 的測試中能找出分配給自己的所有錯誤，在其他測試中一個都找不到。資料列以等機率分配，和能否找到錯誤無關。

| 檢查工作怎麼分配 | 不重複的資料列數 | 一個真實錯誤都找不到的機率 |
| --- | --- | --- |
| 一位審查人員檢查 60 列 | 60 | 21.10% |
| 兩位相互獨立的審查人員各查 30 列，兩組不重疊 | 60 | 10.33% |
| 兩位審查人員能找到錯誤的測試輪次相同，各查 30 列，兩組不重疊 | 60 | 21.10% |
| 兩位相互獨立的審查人員各自檢查同樣的 30 列 | 30 | 20.36% |

記下被抽到的資料列 ID、選取規則、每列由誰檢查，以及對發現錯誤的假設。檢查計畫是否符合風險上限。如果目標是至少找出一個真實錯誤，還需要分開檢查誤報、分歧裁決的品質，以及是否符合預期用途。

[資料集評估的抽樣例子](https://sapien1.com/zh-Hant-TW/dataset-evaluation#review-labels-and-coverage) · [加拿大統計局的抽樣方法](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [有關可能漏掉錯誤的檢查研究](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
