# Como planejar uma revisão por amostragem para encontrar erros de rotulagem

Defina a decisão antes de escolher o tamanho da amostra. Se o lote tem uma quantidade determinada de rótulos incorretos, qual risco você aceita de a revisão não encontrar nenhum? Isso depende de como as linhas são escolhidas, dos erros que os revisores conseguem encontrar e de como o trabalho é distribuído.

Os exemplos ampliam o caso fictício do guia de avaliação de conjuntos de dados, com 120 linhas e seis rótulos incorretos. Cada exemplo examina uma parte diferente do plano de revisão.

## Calcule o risco conforme o modo de escolher as linhas

Primeiro, suponha que todo erro examinado seja encontrado. Uma amostra uniforme de 20 linhas distintas deixa passar os seis erros em cerca de 32,63% das vezes. Se você escolher uma de cada seis linhas a partir de uma posição inicial aleatória, e os erros estiverem na mesma posição em blocos sucessivos de seis, só uma das seis posições iniciais permite encontrá-los. Nesse arranjo, o risco de não achar nenhum é de 83,33%.

Escolher de forma independente uma linha por bloco de seis reduz esse risco para 33,49% nesse arranjo. Esse também é o maior risco para o método de blocos independentes, seja qual for a posição dos seis erros. No exemplo com padrão periódico, o risco só fica abaixo de 5% quando se usam as seis posições iniciais distintas. Na amostragem uniforme, são necessárias 47 linhas para atingir esse limite com detecção perfeita.

## Separe a seleção de linhas da detecção de erros

Em 47 linhas escolhidas de forma uniforme, a chance de não encontrar erro real é de 4,66% com detecção perfeita. É de 10,06% quando cada erro da amostra pode ser detectado de forma independente com 80% de probabilidade. Com essa hipótese de independência, o risco fica abaixo de 5% pela primeira vez com 59 linhas.

Com 47 linhas, a mesma taxa de 80% por erro pode levar a um risco de não encontrar nenhum entre 8,96% e 23,73%, dependendo de quais erros podem ser detectados juntos. O cálculo supõe que a seleção uniforme independe de quais erros a revisão pode detectar. No caso menos favorável, a revisão consegue encontrar os seis erros em 80% das vezes e nenhum nos outros 20%. Mesmo revisar cada linha uma vez deixa uma chance de 20% de não encontrar nenhum erro. Em testes com erros conhecidos, registre quais foram encontrados juntos em cada revisão comparável.

## Conte as linhas distintas e as chances independentes de encontrar erros

Considere um orçamento de 60 revisões de linha. Neste exemplo, cada revisor pode detectar todos os erros atribuídos em 80% das vezes e nenhum nas demais. As linhas são atribuídas de maneira uniforme, independentemente da capacidade de detectar os erros.

| Divisão do trabalho de revisão | Linhas distintas | Chance de não encontrar nenhum erro real |
| --- | --- | --- |
| Um revisor confere 60 linhas | 60 | 21,10% |
| Dois revisores independentes conferem grupos separados de 30 linhas | 60 | 10,33% |
| Dois revisores que conseguem detectar os erros nas mesmas rodadas conferem grupos separados de 30 linhas | 60 | 21,10% |
| Dois revisores independentes conferem as mesmas 30 linhas | 30 | 20,36% |

Registre os IDs da amostra, como as linhas foram selecionadas, quem viu cada uma e as hipóteses de detecção. Aplique a meta de risco ao plano resultante. Uma revisão que busca pelo menos um erro real precisa de verificações separadas para falsos alarmes, qualidade da resolução de divergências e adequação ao uso pretendido.

[Exemplo de amostragem em Avaliação de Conjuntos de Dados](https://sapien1.com/pt-BR/dataset-evaluation#review-labels-and-coverage) · [Métodos de amostragem do Statistics Canada](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Pesquisa sobre inspeções que podem deixar passar erros](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
