Forschung
So planst du eine Stichprobe, um falsche Labels zu finden
Lege vor der Wahl des Stichprobenumfangs fest, welche Entscheidung die Prüfung unterstützen soll. Wenn die Lieferung eine vorgegebene Zahl falscher Labels enthält, welches Risiko akzeptierst du, dass die Prüfung keines findet? Das hängt von der Zeilenauswahl, der Fehlererkennung und der Verteilung der Arbeit ab.
Die Beispiele bauen auf der fiktiven Lieferung mit 120 Zeilen und sechs falschen Labels aus dem Leitfaden zur Datensatzbewertung auf. Jedes Beispiel untersucht einen anderen Teil des Prüfplans.
Berechne das Risiko passend zur Auswahlmethode
Geh zunächst davon aus, dass jeder geprüfte Fehler erkannt wird. Eine gleichverteilte Zufallsstichprobe von 20 unterschiedlichen Zeilen übersieht alle sechs Fehler in etwa 32,63 % der Fälle. Wählst du von einem zufälligen Startpunkt aus jede sechste Zeile und liegen die Fehler jeweils an derselben Stelle in aufeinanderfolgenden Sechserblöcken, lassen sie sich von nur einem der sechs Startpunkte aus finden. Hier beträgt die Wahrscheinlichkeit, alle zu übersehen, 83,33 %.
Ziehst du unabhängig eine Zeile aus jedem Sechserblock, sinkt die Wahrscheinlichkeit in dieser Anordnung auf 33,49 %. Das ist für diese unabhängige Blockstichprobe zugleich das höchste Risiko über alle möglichen Platzierungen der sechs Fehler. Im periodischen Beispiel fällt das Risiko erst unter 5 %, wenn du alle sechs unterschiedlichen Startpunkte einbeziehst. Bei gleichverteilter Zufallsauswahl reichen dafür 47 Zeilen, wenn jeder geprüfte Fehler erkannt wird.
Unterscheide zwischen Zeilenauswahl und Fehlererkennung
Bei 47 gleichverteilt gezogenen Zeilen beträgt die Wahrscheinlichkeit, keinen echten Fehler zu finden, 4,66 %, wenn jeder geprüfte Fehler erkannt wird. Sie beträgt 10,06 %, wenn jeder ausgewählte Fehler unabhängig mit einer Wahrscheinlichkeit von 80 % erkannt werden kann. Unter dieser Unabhängigkeitsannahme fällt das Risiko erstmals bei 59 Zeilen unter 5 %.
Bei 47 Zeilen kann dieselbe Erkennungswahrscheinlichkeit von 80 % je Fehler zu einem Risiko zwischen 8,96 % und 23,73 % führen, je nachdem, welche Fehler gemeinsam erkennbar sind. Die Rechnung setzt voraus, dass die gleichverteilte Auswahl unabhängig davon ist, welche Fehler die Prüfung erkennen kann. Im ungünstigsten Fall kann die Prüfung in 80 % der Durchläufe alle sechs Fehler erkennen und in den übrigen 20 % keinen. Selbst wenn jede Zeile einmal geprüft wird, bleibt ein Risiko von 20 %, keinen Fehler zu finden. Halte bei Tests mit bekannten Fehlern fest, welche davon in vergleichbaren Prüfungen gemeinsam gefunden wurden.
Zähle unterschiedliche Zeilen und unabhängige Chancen, Fehler zu finden
Gehe von einem Budget von 60 Zeilenprüfungen aus. In diesem Beispiel kann jede prüfende Person in 80 % der Durchläufe alle ihr zugewiesenen Fehler und in den übrigen keinen erkennen. Die Zeilen werden gleichverteilt und unabhängig davon zugewiesen, ob die Fehler erkannt werden können.
| Verteilung der Prüfungen | Unterschiedliche Zeilen | Wahrscheinlichkeit, keinen echten Fehler zu finden |
|---|---|---|
| Eine Person prüft 60 Zeilen | 60 | 21,10 % |
| Zwei unabhängige Personen prüfen je eine getrennte Gruppe von 30 Zeilen | 60 | 10,33 % |
| Zwei Personen, die in denselben Durchläufen Fehler erkennen können, prüfen je eine getrennte Gruppe von 30 Zeilen | 60 | 21,10 % |
| Zwei unabhängige Personen prüfen beide dieselben 30 Zeilen | 30 | 20,36 % |
Notiere die Stichproben-IDs, die Auswahlregel, wer welche Zeile gesehen hat und die Annahmen zur Fehlererkennung. Prüfe, ob der daraus entwickelte Plan das Risikoziel erfüllt. Wenn die Prüfung mindestens einen echten Fehler finden soll, braucht es eigene Kontrollen für Fehlmeldungen, die Klärung strittiger Fälle und die Eignung für den vorgesehenen Einsatz.
Stichprobenbeispiel zur Datensatzbewertung · Stichprobenverfahren bei Statistics Canada · Forschung zu Prüfungen mit übersehenen Fehlern