Onderzoek
Zo plan je een steekproef om labelfouten te vinden
Bepaal welke beslissing de controle moet ondersteunen voordat je de steekproefgrootte kiest. Als de partij een bepaald aantal onjuiste labels bevat, welk risico accepteer je dan dat de controle er geen vindt? Dat hangt af van de rijselectie, welke fouten controleurs kunnen vinden en hoe je het werk verdeelt.
De voorbeelden bouwen voort op de fictieve partij met 120 rijen en zes onjuiste labels uit de gids voor datasetevaluatie. Elk voorbeeld onderzoekt een ander onderdeel van het controleplan.
Bereken het risico op basis van hoe je rijen kiest
Ga er eerst van uit dat iedere bekeken fout wordt gevonden. Een uniforme steekproef van 20 verschillende rijen mist alle zes fouten ongeveer 32,63% van de tijd. Neem je vanaf een willekeurige startpositie elke zesde rij, dan kunnen fouten die steeds op dezelfde plek in opeenvolgende blokken van zes staan maar vanaf één van de zes startposities worden gevonden. In die indeling is de kans om alles te missen 83,33%.
Kies je onafhankelijk één rij uit elk blok van zes, dan daalt die kans in deze indeling tot 33,49%. Dat is voor die onafhankelijke blokmethode ook de hoogste kans over alle mogelijke plaatsen van de zes fouten. In het voorbeeld met het vaste patroon komt het risico pas onder 5% als je alle zes verschillende startposities gebruikt. Bij uniforme steekproeftrekking zijn daarvoor 47 rijen nodig als elke bekeken fout wordt gevonden.
Houd de selectie van rijen en het vinden van fouten apart
Bij 47 uniform getrokken rijen is de kans om geen enkele echte fout te vinden 4,66% als iedere bekeken fout wordt gevonden. Die kans is 10,06% als elke fout in de steekproef onafhankelijk met 80% kans kan worden gevonden. Onder die onafhankelijkheidsaanname zakt de kans pas bij 59 rijen onder 5%.
Bij 47 rijen kan dezelfde detectiekans van 80% per fout leiden tot een kans van 8,96% tot 23,73% om niets te vinden, afhankelijk van welke fouten tegelijk vindbaar zijn. Daarbij nemen we aan dat de uniforme trekking onafhankelijk is van welke fouten de controle kan vinden. In het minst gunstige geval zijn in 80% van de rondes alle zes fouten vindbaar en in de overige 20% geen. Zelfs elke rij één keer controleren laat een kans van 20% om niets te vinden. Noteer bij proeven met bekende fouten welke fouten in elke vergelijkbare controle samen werden opgemerkt.
Tel verschillende rijen en onafhankelijke kansen om fouten te vinden
Stel dat je budget hebt voor 60 rijcontroles. In dit voorbeeld kan elke controleur in 80% van de rondes alle toegewezen fouten vinden en in de overige rondes geen. De rijen worden uniform toegewezen, onafhankelijk van de vraag of de controleurs fouten kunnen vinden.
| Verdeling van het controlewerk | Verschillende rijen | Kans om geen echte fout te vinden |
|---|---|---|
| Eén controleur bekijkt 60 rijen | 60 | 21,10% |
| Twee onafhankelijke controleurs bekijken elk een eigen groep van 30 rijen | 60 | 10,33% |
| Twee controleurs die in dezelfde rondes fouten kunnen vinden bekijken elk een eigen groep van 30 rijen | 60 | 21,10% |
| Twee onafhankelijke controleurs bekijken allebei dezelfde 30 rijen | 30 | 20,36% |
Leg de ID’s uit de steekproef, de selectieregel, wie welke rij zag en de aannames over het vinden van fouten vast. Toets het plan aan het risicodoel. Bij een controle die minstens één echte fout moet vinden, zijn aparte controles nodig op vals alarm, de kwaliteit van de beoordeling bij meningsverschillen en geschiktheid voor het bedoelde gebruik.
Steekproefvoorbeeld bij datasetevaluatie · Steekproefmethoden van Statistics Canada · Onderzoek naar controles die fouten kunnen missen