# Comment planifier une revue par échantillonnage pour repérer les erreurs d’annotation

Fixez l’objectif avant de choisir la taille de l’échantillon. Si le lot contient un nombre donné d’annotations incorrectes, quel risque acceptez-vous que la revue n’en trouve aucune ? Cela dépend du choix des lignes, des erreurs que les examinateurs peuvent repérer et de la répartition du travail.

Les exemples prolongent le cas fictif du guide d’évaluation des jeux de données, qui compte 120 lignes et six annotations incorrectes. Chacun étudie une partie différente du plan de revue.

## Calculez le risque selon la méthode de sélection

Supposons d’abord que chaque erreur examinée soit repérée. Un échantillon uniforme de 20 lignes distinctes manque les six erreurs environ 32,63 % du temps. Si vous choisissez une ligne sur six à partir d’une position de départ tirée au hasard, et que les erreurs occupent la même position dans des blocs successifs de six lignes, une seule des six positions de départ permet de les trouver. Dans cette disposition, le risque de les manquer toutes est de 83,33 %.

Tirer indépendamment une ligne dans chaque groupe de six ramène ce risque à 33,49 % pour cette disposition. C’est aussi le risque maximal pour cette méthode par blocs, toutes dispositions des six erreurs confondues. Dans l’exemple périodique, multiplier les positions de départ distinctes ne fait passer le risque sous 5 % qu’en prenant les six. Avec un tirage uniforme, il faut 47 lignes pour atteindre ce seuil si chaque erreur examinée est repérée.

## Distinguez la sélection des lignes et la détection des erreurs

Avec 47 lignes tirées uniformément, le risque de ne repérer aucune erreur réelle est de 4,66 % si toutes les erreurs examinées sont détectées. Il est de 10,06 % si chaque erreur échantillonnée peut être repérée indépendamment avec une probabilité de 80 %. Sous cette hypothèse d’indépendance, le risque passe sous 5 % pour la première fois à 59 lignes.

À 47 lignes, la même probabilité de 80 % par erreur peut donner un risque de les manquer toutes entre 8,96 % et 23,73 %, selon les erreurs qui peuvent être repérées ensemble. Le calcul suppose que le tirage uniforme est indépendant des erreurs que la revue peut repérer. Dans le cas le moins favorable, la revue peut repérer les six erreurs dans 80 % des essais et aucune dans les 20 % restants. Même en examinant chaque ligne une fois, le risque de ne rien trouver reste de 20 %. Lors d’essais avec des erreurs connues, notez celles qui ont été repérées ensemble dans chaque revue comparable.

## Comptez les lignes distinctes et les possibilités de détection indépendantes

Prévoyez un budget de 60 examens de ligne. Dans cet exemple, chaque examinateur peut repérer toutes les erreurs qui lui sont attribuées dans 80 % des essais et aucune dans les autres. Les lignes sont distribuées uniformément, indépendamment de cette capacité à détecter les erreurs.

| Répartition du travail de revue | Lignes distinctes | Probabilité de ne trouver aucune erreur réelle |
| --- | --- | --- |
| Un examinateur vérifie 60 lignes | 60 | 21,10 % |
| Deux examinateurs indépendants vérifient chacun un groupe distinct de 30 lignes | 60 | 10,33 % |
| Deux examinateurs qui peuvent détecter les erreurs lors des mêmes essais vérifient chacun un groupe distinct de 30 lignes | 60 | 21,10 % |
| Deux examinateurs indépendants vérifient tous deux les mêmes 30 lignes | 30 | 20,36 % |

Consignez les identifiants échantillonnés, la règle de sélection, la personne qui a examiné chaque ligne et les hypothèses de détection. Appliquez la limite de risque au plan obtenu. Une revue qui cherche au moins une erreur réelle exige des vérifications séparées des fausses alertes, de la qualité de l’arbitrage et de l’adéquation à l’usage prévu.

[Exemple d’échantillonnage du guide d’évaluation des jeux de données](https://sapien1.com/fr/dataset-evaluation#review-labels-and-coverage) · [Méthodes d’échantillonnage de Statistique Canada](https://www150.statcan.gc.ca/n1/edu/power-pouvoir/ch13/prob/5214899-eng.htm) · [Recherche sur les inspections imparfaites](https://pubsonline.informs.org/doi/10.1287/opre.32.3.575)
