# Cum planifici o verificare prin eșantionare pentru a găsi etichete greșite

Stabilește decizia înainte să alegi mărimea eșantionului. Dacă lotul conține un număr dat de etichete greșite, ce risc accepți ca verificarea să nu găsească niciuna? Depinde de cum alegi rândurile, de ce erori pot găsi evaluatorii și de cum distribui munca.

Exemplele continuă cazul fictiv din ghidul de evaluare a seturilor de date, cu 120 de rânduri și șase etichete greșite. Fiecare exemplu examinează o altă parte a planului.

## Calculează riscul în funcție de cum alegi rândurile

Presupune mai întâi că fiecare eroare verificată este găsită. Un eșantion uniform de 20 de rânduri distincte ratează toate cele șase erori în aproximativ 32,63% dintre cazuri. Dacă alegi fiecare al șaselea rând dintr-o poziție aleatorie, iar erorile apar în aceeași poziție din blocuri consecutive de câte șase, doar una dintre cele șase poziții de pornire permite găsirea lor. În acest aranjament, riscul să nu găsești niciuna este de 83,33%.

Alegerea independentă a câte unui rând din fiecare bloc de șase scade riscul la 33,49% în acest aranjament. Aceasta este și valoarea maximă pentru metoda cu blocuri independente, indiferent unde se află cele șase erori. În exemplul cu model periodic, riscul scade sub 5% numai dacă incluzi toate cele șase poziții distincte de pornire. Cu eșantionare uniformă și detectare perfectă, sunt suficiente 47 de rânduri.

## Separă alegerea rândurilor de detectarea erorilor

La 47 de rânduri alese uniform, șansa de a nu găsi nicio eroare reală este de 4,66% cu detectare perfectă. Este de 10,06% dacă fiecare eroare selectată poate fi găsită independent cu o probabilitate de 80%. În acest model independent, riscul scade sub 5% prima dată la 59 de rânduri.

La 47 de rânduri, aceeași rată de 80% pe eroare poate da o probabilitate între 8,96% și 23,73% de a nu găsi nicio eroare, în funcție de care erori pot fi găsite împreună. Calculul presupune că selecția uniformă este independentă de ce erori poate găsi verificarea. În cazul cel mai nefavorabil, verificarea poate găsi toate cele șase erori în 80% dintre încercări și niciuna în restul de 20%. Chiar dacă verifici fiecare rând o dată, șansa de a nu găsi nimic rămâne de 20%. În testele cu erori cunoscute, notează care au fost găsite împreună la fiecare verificare comparabilă.

## Numără rândurile distincte și ocaziile independente de a găsi erori

Presupune un buget de 60 de verificări de rânduri. În exemplu, fiecare evaluator poate găsi toate erorile alocate în 80% dintre încercări și niciuna în rest. Rândurile sunt alocate uniform, independent de posibilitatea de a găsi erorile.

| Împărțirea muncii de verificare | Rânduri distincte | Șansa de a nu găsi nicio eroare reală |
| --- | --- | --- |
| Un evaluator verifică 60 de rânduri | 60 | 21,10% |
| Doi evaluatori independenți verifică grupuri separate de câte 30 de rânduri | 60 | 10,33% |
| Doi evaluatori care pot găsi erorile în aceleași încercări verifică grupuri separate de câte 30 de rânduri | 60 | 21,10% |
| Doi evaluatori independenți verifică aceleași 30 de rânduri | 30 | 20,36% |

Notează ID-urile eșantionate, regula de selecție, cine a văzut fiecare rând și ipotezele de detectare. Compară planul cu limita de risc. O verificare care caută cel puțin o eroare reală cere controale separate pentru alarme false, calitatea soluționării dezacordurilor și potrivirea datelor pentru utilizarea prevăzută.

[Exemplu de eșantionare din ghidul de evaluare a seturilor de date](https://sapien1.com/ro/dataset-evaluation#review-labels-and-coverage) · [Metode de eșantionare de la Statistics Canada](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Cercetare despre inspecții care pot rata erori](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
