# Jak zaplanować kontrolę próbki, by znaleźć błędne etykiety

Ustal, jaką decyzję ma wspierać kontrola, zanim wybierzesz wielkość próbki. Jeśli partia zawiera określoną liczbę błędnych etykiet, jakie ryzyko zaakceptujesz, że kontrola nie wykryje żadnej? To zależy od wyboru wierszy, błędów, które sprawdzający mogą wykryć, i podziału pracy.

Przykłady rozwijają fikcyjny przypadek z poradnika oceny zestawu danych, w którym 120 wierszy zawiera sześć błędnych etykiet. Każdy przykład dotyczy innej części planu kontroli.

## Oblicz ryzyko według sposobu wyboru wierszy

Załóż najpierw, że każdy sprawdzony błąd zostanie wykryty. Jednostajnie losowana próbka 20 różnych wierszy pomija wszystkie sześć błędów w około 32,63 % przypadków. Jeśli od losowego punktu wybierasz co szósty wiersz, a błędy zajmują tę samą pozycję w kolejnych blokach po sześć wierszy, wykryjesz je tylko z jednego z sześciu punktów startowych. Ryzyko pominięcia wszystkich wynosi tu 83,33 %.

Niezależne losowanie jednego wiersza z każdego bloku po sześć zmniejsza ryzyko w tym układzie do 33,49 %. To zarazem największe możliwe ryzyko dla tej metody, niezależnie od rozłożenia sześciu błędów. Przy powtarzającym się układzie ryzyko spada poniżej 5 % dopiero po uwzględnieniu wszystkich sześciu różnych punktów startowych. Przy jednostajnym losowaniu potrzeba 47 wierszy, jeśli każdy sprawdzany błąd zostaje wykryty.

## Oddziel wybór wierszy od wykrywania błędów

Przy 47 jednostajnie wylosowanych wierszach ryzyko niewykrycia żadnego rzeczywistego błędu wynosi 4,66 %, jeśli każdy sprawdzany błąd zostaje wykryty. Ryzyko wynosi 10,06 %, jeśli każdy wylosowany błąd można niezależnie wykryć z prawdopodobieństwem 80 %. Przy tym założeniu ryzyko po raz pierwszy spada poniżej 5 % przy 59 wierszach.

Przy 47 wierszach to samo prawdopodobieństwo 80 % na błąd może dać ryzyko pominięcia wszystkich od 8,96 % do 23,73 %, w zależności od tego, które błędy można wykryć razem. Zakładamy, że losowanie jest niezależne od tego, które błędy można wykryć. W najmniej korzystnym przypadku kontrola może wykryć wszystkie sześć błędów w 80 % prób i żadnego w pozostałych 20 %. Nawet jednokrotna kontrola każdego wiersza pozostawia 20 % ryzyka niewykrycia żadnego błędu. W testach ze znanymi błędami zapisuj, które wykryto razem w każdej porównywalnej kontroli.

## Policz różne wiersze i niezależne szanse wykrycia błędu

Załóż budżet 60 kontroli wierszy. W tym przykładzie każda osoba może wykryć wszystkie przydzielone błędy w 80 % prób i żadnego w pozostałych. Wiersze przydziela się jednostajnie i niezależnie od tego, czy błędy można wykryć.

| Podział pracy | Różne wiersze | Szansa niewykrycia żadnego rzeczywistego błędu |
| --- | --- | --- |
| Jedna osoba sprawdza 60 wierszy | 60 | 21,10 % |
| Dwie niezależne osoby sprawdzają odrębne grupy po 30 wierszy | 60 | 10,33 % |
| Dwie osoby mogą wykryć błędy w tych samych próbach i sprawdzają odrębne grupy po 30 wierszy | 60 | 21,10 % |
| Dwie niezależne osoby sprawdzają te same 30 wierszy | 30 | 20,36 % |

Zapisz identyfikatory wierszy w próbce, regułę wyboru, kto widział każdy wiersz i założenia dotyczące wykrywania. Porównaj ryzyko planu z przyjętym limitem. Kontrola mająca znaleźć co najmniej jeden rzeczywisty błąd wymaga osobnego sprawdzenia fałszywych alarmów, jakości rozstrzygania sporów i przydatności do planowanego zastosowania.

[Przykład doboru próbki w poradniku oceny zestawu danych](https://sapien1.com/pl/dataset-evaluation#review-labels-and-coverage) · [Metody doboru próbki według Statistics Canada](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Badania nad kontrolami, które mogą pominąć błędy](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
