Pular para o conteúdo principal

Menu

Pesquisa

Como planejar uma revisão por amostragem para encontrar erros de rotulagem

Idioma: Português (Brasil)

Defina a decisão antes de escolher o tamanho da amostra. Se o lote tem uma quantidade determinada de rótulos incorretos, qual risco você aceita de a revisão não encontrar nenhum? Isso depende de como as linhas são escolhidas, dos erros que os revisores conseguem encontrar e de como o trabalho é distribuído.

Os exemplos ampliam o caso fictício do guia de avaliação de conjuntos de dados, com 120 linhas e seis rótulos incorretos. Cada exemplo examina uma parte diferente do plano de revisão.

Calcule o risco conforme o modo de escolher as linhas

Primeiro, suponha que todo erro examinado seja encontrado. Uma amostra uniforme de 20 linhas distintas deixa passar os seis erros em cerca de 32,63% das vezes. Se você escolher uma de cada seis linhas a partir de uma posição inicial aleatória, e os erros estiverem na mesma posição em blocos sucessivos de seis, só uma das seis posições iniciais permite encontrá-los. Nesse arranjo, o risco de não achar nenhum é de 83,33%.

Escolher de forma independente uma linha por bloco de seis reduz esse risco para 33,49% nesse arranjo. Esse também é o maior risco para o método de blocos independentes, seja qual for a posição dos seis erros. No exemplo com padrão periódico, o risco só fica abaixo de 5% quando se usam as seis posições iniciais distintas. Na amostragem uniforme, são necessárias 47 linhas para atingir esse limite com detecção perfeita.

Separe a seleção de linhas da detecção de erros

Em 47 linhas escolhidas de forma uniforme, a chance de não encontrar erro real é de 4,66% com detecção perfeita. É de 10,06% quando cada erro da amostra pode ser detectado de forma independente com 80% de probabilidade. Com essa hipótese de independência, o risco fica abaixo de 5% pela primeira vez com 59 linhas.

Com 47 linhas, a mesma taxa de 80% por erro pode levar a um risco de não encontrar nenhum entre 8,96% e 23,73%, dependendo de quais erros podem ser detectados juntos. O cálculo supõe que a seleção uniforme independe de quais erros a revisão pode detectar. No caso menos favorável, a revisão consegue encontrar os seis erros em 80% das vezes e nenhum nos outros 20%. Mesmo revisar cada linha uma vez deixa uma chance de 20% de não encontrar nenhum erro. Em testes com erros conhecidos, registre quais foram encontrados juntos em cada revisão comparável.

Conte as linhas distintas e as chances independentes de encontrar erros

Considere um orçamento de 60 revisões de linha. Neste exemplo, cada revisor pode detectar todos os erros atribuídos em 80% das vezes e nenhum nas demais. As linhas são atribuídas de maneira uniforme, independentemente da capacidade de detectar os erros.

Divisão do trabalho de revisãoLinhas distintasChance de não encontrar nenhum erro real
Um revisor confere 60 linhas6021,10%
Dois revisores independentes conferem grupos separados de 30 linhas6010,33%
Dois revisores que conseguem detectar os erros nas mesmas rodadas conferem grupos separados de 30 linhas6021,10%
Dois revisores independentes conferem as mesmas 30 linhas3020,36%

Registre os IDs da amostra, como as linhas foram selecionadas, quem viu cada uma e as hipóteses de detecção. Aplique a meta de risco ao plano resultante. Uma revisão que busca pelo menos um erro real precisa de verificações separadas para falsos alarmes, qualidade da resolução de divergências e adequação ao uso pretendido.

Exemplo de amostragem em Avaliação de Conjuntos de Dados · Métodos de amostragem do Statistics Canada · Pesquisa sobre inspeções que podem deixar passar erros