# 如何安排抽样检查，找出标签错误

先明确检查要支持什么决定，再确定样本大小。如果一批数据中有一定数量的错误标签，你能接受多大的风险，即检查一个都找不到？这取决于怎么选行、审查员能发现哪些错误，以及怎么分工。

下面的示例沿用数据集评估指南中的虚构数据批次，其中有 120 行和六个错误标签。每个示例关注检查计划的不同部分。

## 按照选取数据行的方式计算风险

先假设检查过的错误都能被发现。等概率抽取 20 个不同的行时，约有 32.63% 的概率漏掉全部六个错误。如果随机选一个起点，然后每隔六行取一行，而错误在连续六行一组的数据中总是出现在同一位置，那么只有六个起点之一能找到这些错误。按这种排列，漏掉全部错误的概率为 83.33%。

从每个六行小组中独立抽取一行，会把这种排列下的风险降到 33.49%。六个错误无论分布在哪里，这个独立分组抽样方法的漏检概率都不会超过这个值。在错误位置周期性重复的示例中，只有用上六个不同的起点，风险才会低于 5%。等概率抽样且能发现检查过的所有错误时，抽 47 行就能达到这个标准。

## 把抽样和发现错误的能力分开看

等概率抽取 47 行时，如果检查过的错误都能找到，那么一个真实错误都找不到的概率为 4.66%。如果抽到的每个错误都以 80% 的概率被独立发现，这一概率就是 10.06%。在独立发现错误的假设下，抽到 59 行时，风险才首次低于 5%。

抽取 47 行时，即使每个错误的发现概率同为 80%，漏掉所有错误的风险也可能在 8.96% 至 23.73% 之间，取决于哪些错误会一起被发现。这一计算假设等概率抽样与检查能发现哪些错误互不影响。在最不利的情况下，80% 的试验能发现全部六个错误，其余 20% 一个都发现不了。即使每行都查一次，仍有 20% 的概率什么也找不到。用已知错误做测试时，记录每次可比较的检查中有哪些错误一起被找出。

## 计算不重复的行数和独立发现错误的机会

假设总共能检查 60 行次。在这个例子中，每位审查员在 80% 的试验中能找出分配给自己的所有错误，在其余试验中一个也找不到。行的分配是等概率的，与是否能发现错误无关。

| 检查工作如何分配 | 不重复的行数 | 一个真实错误都找不到的概率 |
| --- | --- | --- |
| 一位审查员检查 60 行 | 60 | 21.10% |
| 两位相互独立的审查员各查 30 行，两组不重叠 | 60 | 10.33% |
| 两位审查员能发现错误的试验相同，各查 30 行，两组不重叠 | 60 | 21.10% |
| 两位相互独立的审查员各自检查同样的 30 行 | 30 | 20.36% |

记录抽取的行 ID、选择规则、每一行由谁查看，以及发现错误的假设。用风险上限来检验制定的方案。若检查目标是至少找出一个真实错误，还要把误报、分歧裁决质量和数据是否适合预期用途分开检查。

[数据集评估中的抽样示例](https://sapien1.com/zh-Hans/dataset-evaluation#review-labels-and-coverage) · [加拿大统计局的抽样方法](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [关于可能漏掉错误的检查的研究](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
