跳至主要内容

菜单

研究

如何安排抽样检查,找出标签错误

语言: 简体中文

先明确检查要支持什么决定,再确定样本大小。如果一批数据中有一定数量的错误标签,你能接受多大的风险,即检查一个都找不到?这取决于怎么选行、审查员能发现哪些错误,以及怎么分工。

下面的示例沿用数据集评估指南中的虚构数据批次,其中有 120 行和六个错误标签。每个示例关注检查计划的不同部分。

按照选取数据行的方式计算风险

先假设检查过的错误都能被发现。等概率抽取 20 个不同的行时,约有 32.63% 的概率漏掉全部六个错误。如果随机选一个起点,然后每隔六行取一行,而错误在连续六行一组的数据中总是出现在同一位置,那么只有六个起点之一能找到这些错误。按这种排列,漏掉全部错误的概率为 83.33%。

从每个六行小组中独立抽取一行,会把这种排列下的风险降到 33.49%。六个错误无论分布在哪里,这个独立分组抽样方法的漏检概率都不会超过这个值。在错误位置周期性重复的示例中,只有用上六个不同的起点,风险才会低于 5%。等概率抽样且能发现检查过的所有错误时,抽 47 行就能达到这个标准。

把抽样和发现错误的能力分开看

等概率抽取 47 行时,如果检查过的错误都能找到,那么一个真实错误都找不到的概率为 4.66%。如果抽到的每个错误都以 80% 的概率被独立发现,这一概率就是 10.06%。在独立发现错误的假设下,抽到 59 行时,风险才首次低于 5%。

抽取 47 行时,即使每个错误的发现概率同为 80%,漏掉所有错误的风险也可能在 8.96% 至 23.73% 之间,取决于哪些错误会一起被发现。这一计算假设等概率抽样与检查能发现哪些错误互不影响。在最不利的情况下,80% 的试验能发现全部六个错误,其余 20% 一个都发现不了。即使每行都查一次,仍有 20% 的概率什么也找不到。用已知错误做测试时,记录每次可比较的检查中有哪些错误一起被找出。

计算不重复的行数和独立发现错误的机会

假设总共能检查 60 行次。在这个例子中,每位审查员在 80% 的试验中能找出分配给自己的所有错误,在其余试验中一个也找不到。行的分配是等概率的,与是否能发现错误无关。

检查工作如何分配不重复的行数一个真实错误都找不到的概率
一位审查员检查 60 行6021.10%
两位相互独立的审查员各查 30 行,两组不重叠6010.33%
两位审查员能发现错误的试验相同,各查 30 行,两组不重叠6021.10%
两位相互独立的审查员各自检查同样的 30 行3020.36%

记录抽取的行 ID、选择规则、每一行由谁查看,以及发现错误的假设。用风险上限来检验制定的方案。若检查目标是至少找出一个真实错误,还要把误报、分歧裁决质量和数据是否适合预期用途分开检查。

数据集评估中的抽样示例 · 加拿大统计局的抽样方法 · 关于可能漏掉错误的检查的研究