# Slik planlegger du en stikkprøve for å finne etikettfeil

Bestem hva gjennomgangen skal hjelpe deg med å avgjøre, før du velger størrelsen på utvalget. Hvis leveransen inneholder et bestemt antall feil etiketter, hvor stor risiko godtar du for at ingen blir funnet? Det avhenger av radvalget, hvilke feil kontrollørene kan finne, og hvordan du fordeler arbeidet.

Eksemplene bygger på den oppdiktede leveransen med 120 rader og seks feil etiketter i veiledningen om datasettevaluering. Hvert eksempel tar for seg én del av planen for gjennomgangen.

## Beregn risikoen ut fra hvordan du velger rader

Anta først at alle feil i de gjennomgåtte radene blir funnet. Et uniformt tilfeldig utvalg av 20 ulike rader overser alle seks feil i omtrent 32,63 % av tilfellene. Tar du hver sjette rad fra en tilfeldig start, og feilene ligger på samme plass i påfølgende blokker på seks rader, kan de bare finnes fra én av de seks startplassene. Med det mønsteret er risikoen for å overse alle 83,33 %.

Velger du uavhengig én rad fra hver blokk på seks, synker risikoen for dette mønsteret til 33,49 %. Det er også den høyeste risikoen for denne metoden med uavhengige blokkvalg, uansett hvor de seks feilene ligger. I det gjentakende eksemplet går risikoen under 5 % bare når alle seks ulike startplasser brukes. Med uniformt utvalg når du grensen ved 47 rader hvis alle gjennomgåtte feil blir funnet.

## Skill mellom radutvalg og det å finne feil

Med 47 uniformt valgte rader er risikoen for å finne null faktiske feil 4,66 % hvis hver gjennomgått feil oppdages. Den er 10,06 % hvis hver utvalgte feil kan oppdages uavhengig med 80 % sannsynlighet. Med denne antakelsen faller risikoen under 5 % for første gang ved 59 rader.

Ved 47 rader kan den samme sannsynligheten på 80 % per feil gi en risiko fra 8,96 % til 23,73 % for å overse alle, avhengig av hvilke feil som kan finnes sammen. Beregningen antar at det uniforme utvalget er uavhengig av hvilke feil gjennomgangen kan finne. I det minst gunstige tilfellet kan alle seks feil bli funnet i 80 % av rundene og ingen i de andre 20 %. Selv om hver rad gjennomgås én gang er sjansen for å finne ingenting 20 %. Ved forsøk med kjente feil, noter hvilke som ble oppdaget sammen i hver sammenlignbare gjennomgang.

## Tell ulike rader og uavhengige sjanser til å finne feil

Anta et budsjett på 60 radgjennomganger. I eksemplet kan hver kontrollør finne alle feil de er tildelt i 80 % av rundene og ingen i de andre. Radene fordeles uniformt, uavhengig av om feilene kan oppdages.

| Fordeling av gjennomgangen | Ulike rader | Sannsynlighet for å finne null faktiske feil |
| --- | --- | --- |
| Én kontrollør sjekker 60 rader | 60 | 21,10 % |
| To uavhengige kontrollører sjekker hver sin gruppe på 30 rader | 60 | 10,33 % |
| To kontrollører som kan finne feil i de samme rundene sjekker hver sin gruppe på 30 rader | 60 | 21,10 % |
| To uavhengige kontrollører sjekker begge de samme 30 radene | 30 | 20,36 % |

Noter utvalgte ID-er, utvalgsregelen, hvem som så hver rad og antakelsene om å finne feil. Sjekk planen mot risikomålet. En gjennomgang som skal finne minst én faktisk feil, krever egne kontroller av falske alarmer, avgjørelser ved uenighet og egnethet til det tiltenkte formålet.

[Stikkprøveeksempel i veiledningen om datasettevaluering](https://sapien1.com/nb/dataset-evaluation#review-labels-and-coverage) · [Statistics Canadas utvalgsmetoder](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Forskning på kontroller som kan overse feil](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
