Évaluer un jeu de données d’IA au regard de la tâche à accomplir
Langue: Français
Indiquez l’utilisation prévue, un schéma et une description de l’échantillon. Nous pouvons définir le périmètre d’un examen de la couverture, de la qualité et des autorisations, dont les conclusions préciseront les utilisations étayées par les éléments examinés. Décrivez votre projet à sapien1
L’évaluation d’un jeu de données permet de déterminer si les données dont vous disposez peuvent éclairer une décision d’entraînement, de recherche d’information ou d’évaluation. Définissez d’abord la tâche, puis examinez les exemples, leur contexte, leurs annotations, leur couverture et leur répartition.
Par exemple, un jeu de test peut sembler complet tout en contenant des cas déjà vus par le modèle pendant l’entraînement. Cela compte si le test doit estimer les performances sur des cas nouveaux. Un examen utile précise les contrôles effectués, les corrections à apporter et les conclusions que les éléments disponibles permettent de tirer.
Partir de la décision
Formulez par écrit l’usage prévu du jeu de données. Les mêmes enregistrements peuvent convenir à un usage et se révéler insuffisants pour un autre.
| Usage prévu | Une question à se poser |
|---|---|
| Entraînement ou ajustement fin | Les exemples et les annotations décrivent-ils le comportement que le modèle doit apprendre ? |
| Évaluation d’un modèle ou d’un agent | Peut-on vérifier les résultats attendus ? Les cas de test sont-ils indépendants des données utilisées pour entraîner ou ajuster le système ? |
| Recherche d’information | Le contenu est-il à jour, interprétable et accessible au système au moment voulu ? |
Consignez la version du jeu de données, sa provenance, la période couverte, les champs et les restrictions connues. La fiche du jeu de données peut décrire son contenu, son contexte et ses métadonnées. Comparez-la aux fichiers et aux conditions d’utilisation applicables.
Pour un exemple concret de vérification documentaire, prenons le dépôt lerobot/svla_so101_pickplace à la révision f641879, examinée le 17 novembre 2026. Sa fiche présente un exemple de métadonnées avec codebase_version v2.1 et des chemins de fichiers organisés par épisode. Les métadonnées réelles à la même révision indiquent codebase_version v3.0 et des chemins de fichiers organisés en blocs. Le répertoire de données contient un fichier dont le nom suit ce schéma. Vérifiez les métadonnées et les fichiers de la révision que vous comptez utiliser avant de vous fier à un chemin repris de la fiche. Cette comparaison laisse ouverte la question de la qualité des exemples et de leur intérêt pour l’entraînement.
Avant de combiner des enregistrements de robots, vérifiez la signification des canaux d’action et d’état ainsi que la durée correspondant à un nombre fixe de pas. FineART et un jeu de données ALOHA simulé déclarent tous deux aloha et des vecteurs d’action et d’état de 14 éléments de type float32. FineART déclare 30 images par seconde et le jeu simulé en déclare 50. Si chaque pas avance d’un intervalle entre deux images à la fréquence déclarée, un horizon de 15 pas couvre 0,5 seconde dans un jeu et 0,3 seconde dans l’autre. Vérifiez le minutage enregistré et la façon dont votre chaîne de traitement sélectionne les pas avant de considérer les fenêtres des deux sources comme équivalentes. Métadonnées de FineART · Métadonnées d’ALOHA simulé
Vérifier la répartition et le contexte sur un exemple
Supposons qu’une équipe souhaite utiliser un jeu de données annoté du service d’assistance pour décider si elle peut mettre en production un agent qui traite des conversations nouvelles. Le jeu compte 120 exemples : 90 pour l’entraînement et 30 dans le jeu de test proposé. Chaque exemple devrait contenir un identifiant de dossier, un identifiant de conversation, la version de la politique d’assistance applicable et la prochaine action attendue.
Cet exemple est fictif. L’équipe examine les 30 cas de test et les compare au jeu d’entraînement. Voici ses constats.
| Contrôle | Constat | Conséquence pour la décision |
|---|---|---|
| Cas en double | Quatre cas de test sont des copies confirmées de cas d’entraînement. | Ces quatre cas ont déjà figuré dans les données d’entraînement. |
| Conversations communes | Trois autres cas de test ont des identifiants de dossier différents, mais appartiennent à des conversations présentes dans les données d’entraînement. | Ce sont des recoupements supplémentaires pour un test qui doit porter sur des conversations nouvelles. |
| Contexte de la politique | Deux des 23 cas de test restants n’indiquent pas la version de la politique applicable. | Le contexte enregistré ne permet pas encore de vérifier les actions attendues au regard de la politique pertinente. |
Les deux premiers contrôles signalent sept cas distincts et en laissent 23 sans ces recoupements. Deux de ces 23 cas n’ont pas le contexte de la politique. Il reste donc 21 cas de test que ces contrôles n’ont pas signalés. Ce décompte laisse à vérifier si leurs annotations sont correctes, si la couverture est suffisante et si 21 cas permettent de prendre une décision de mise en production.
L’équipe devrait suspendre l’utilisation du jeu actuel comme test indépendant de mise en production pour des conversations nouvelles. Isolez les cas signalés pour examen et retrouvez ou clarifiez le contexte manquant. Vérifiez ce que le modèle et l’équipe de développement ont déjà vu. Déplacer les fichiers ne rend pas inédits des cas déjà utilisés. Dans une nouvelle répartition, gardez chaque conversation entière et comparez les cas de test aux données d’entraînement et de sélection du modèle qui ont été consignées. Si la provenance des premières données d’entraînement ne peut pas être vérifiée, notez cette limite. Si les résultats existants ont influencé l’ajustement, réservez des cas nouveaux qui n’ont pas servi à ces décisions. Réentraînez au besoin avec des données séparées.
Le guide de Google sur la répartition des données explique comment des doublons entre l’entraînement et le test peuvent donner de meilleurs résultats que sur des exemples nouveaux. La documentation de scikit-learn sur la validation croisée par groupes explique comment garder ensemble les observations liées pour estimer les performances sur des groupes inédits. Le groupe pertinent dépend de la question. Il peut s’agir d’une conversation, d’un client ou d’un document. Si un test de légendes doit porter sur des images absentes de l’entraînement, gardez ensemble toutes les légendes d’une même image. Une répartition ligne par ligne risque de faire apparaître la même image à l’entraînement et au test. Pour évaluer les performances sur une période future, adoptez une répartition qui respecte l’ordre temporel afin d’écarter de l’entraînement les observations ultérieures à la période de test.
Supposons que l’équipe veuille également tester des conversations nouvelles après une date de coupure. Dans une nouvelle répartition, des enregistrements de la conversation A existent de part et d’autre de cette date. Le premier cas enregistré de la conversation B est postérieur à la coupure. Une possibilité consiste à exclure A des deux jeux et à réserver B au test, à condition que ses enregistrements n’aient servi ni à l’entraînement ni à la sélection du modèle. Utilisez pour l’entraînement des données antérieures à la coupure et vérifiez si des cas de test ont déjà été utilisés. Consignez les exclusions et vérifiez que les cas restants couvrent l’usage prévu. Un test distinct qui respecte la chronologie peut évaluer les conversations en cours. Un historique incomplet peut empêcher de confirmer que B est nouvelle.
Vérifiez la répartition réelle produite par l’outil avant de supposer qu’une fraction non précisée restera en réserve. Par exemple, la fonction de répartition par fractions de LeRobot à la révision 7910c20 attribue les 50 épisodes d’un jeu fictif lorsqu’on lui fournit train: 0.6 puis test: 0.2. Elle place 30 épisodes dans l’entraînement et 20 dans le test, sans épisode non attribué. D’autres outils ou versions peuvent se comporter différemment, et les petits jeux peuvent nécessiter des arrondis ou des réaffectations. Examinez la composition de chaque jeu. Lorsque les groupes doivent rester entiers, choisissez et consignez des listes d’épisodes qui les respectent.
Une note de recherche sur LeRobot décrit comment un processeur Diffusion nouvellement initialisé peut recevoir des statistiques de normalisation enregistrées. Elle compare leurs plages à des résumés des épisodes d’entraînement dans une répartition hypothétique avec mise en réserve. Vérifiez l’origine et le périmètre des statistiques chargées par votre propre processeur.
Examiner les annotations et la couverture
Pour des données annotées, comparez un échantillon des réponses attendues aux consignes et aux éléments utilisés pour les produire. Un spécialiste du domaine peut examiner les problèmes de contexte manquant, les annotations incohérentes et les réponses réellement ambiguës. Consignez les désaccords et leur résolution. L’accord entre examinateurs apporte une information utile, sans suffire à établir l’exactitude d’une annotation. Les travaux sur la gestion de la qualité des annotations distinguent l’examen, l’accord et l’arbitrage.
Pour interpréter les étiquettes de classe numériques, il faut associer les identifiants aux noms et aux définitions des classes. Comparez ces définitions et identifiants entre les versions et les sous-ensembles, ainsi qu’avec la correspondance attendue par le modèle. Documentez les conversions et le traitement des classes absentes ou fusionnées. Le guide des jeux de données d’Ultralytics Platform indique que fusionner ou supprimer une classe peut décaler les identifiants suivants. Les exports plus anciens risquent alors de diverger de la liste de classes actualisée. Vérifiez la correspondance dans vos exports et votre chaîne de traitement.
Vérifiez que le jeu couvre les situations importantes pour l’usage prévu, par exemple les demandes courantes, les exceptions importantes, les langues, les périodes ou d’autres groupes pertinents. Un groupe comportant peu d’exemples peut nécessiter davantage de données ou une analyse spécifique. Le nombre d’exemples nécessaire peut varier d’un groupe à l’autre.
Décrivez la méthode de sélection des exemples examinés. Une sélection manuelle peut aider à mettre un problème en évidence, mais son taux d’erreur ne doit pas être extrapolé au jeu entier. Les conseils de Google sur l’échantillonnage expliquent comment cette sélection peut fausser les conclusions sur une population plus large.
Même un échantillon aléatoire peut manquer des erreurs. Supposons qu’un autre lot fictif comporte 120 enregistrements, dont six sont mal annotés. Si vous tirez uniformément au hasard 20 enregistrements distincts, l’échantillon ne contiendra aucun des six dans environ 33 % des cas. En prendre 47 réduit à moins de 5 % la probabilité de manquer les six, si les examinateurs repèrent chaque annotation incorrecte parmi les enregistrements sélectionnés. Cet exemple sert à préparer un contrôle en supposant six erreurs. Un échantillon sans erreur ne permet ni de conclure qu’il y en a exactement six ni de prouver que le reste est exempt d’erreurs. Choisissez la taille selon la fréquence des erreurs et le risque de les manquer qui importent pour votre décision, puis consignez la sélection et l’examen des exemples. L’introduction du NIST à l’échantillonnage aborde la sélection et la taille des échantillons. Les travaux sur la qualité des annotations expliquent l’estimation statistique de la qualité et l’échantillonnage d’acceptation.
Comparer les scores de lecture entre langues
Décider des changements
Transformez les constats en actions que l’équipe peut entreprendre.
- Corriger. Retrouvez le contexte manquant, corrigez les erreurs confirmées ou mettez à jour les consignes d’annotation, puis revérifiez les enregistrements concernés.
- Restreindre. Réservez le jeu aux tâches ou aux sous-ensembles pour lesquels il convient et décrivez les lacunes connues.
- Suspendre. Écartez le jeu de l’entraînement ou de la décision de mise en production prévue jusqu’à la résolution du problème important.
- Ajouter des données. Collectez ou trouvez des cas pour les situations manquantes, ou constituez un nouveau jeu de test qui n’a servi ni à l’entraînement ni à l’ajustement.
Faites en sorte que les versions originale et révisée restent identifiables. Notez les contrôles, la méthode de sélection, les constats, les décisions des examinateurs et les questions ouvertes pour qu’une autre équipe comprenne les changements et leurs raisons.
Vérifier un jeu de données Parquet réécrit
Lorsqu’une livraison Parquet est réécrite, déterminez les propriétés que les nouveaux fichiers doivent conserver pour la tâche. Consignez les versions originale et révisée, puis effectuez les contrôles avec le lecteur utilisé par votre équipe en aval. Les exemples suivants reposent sur des données fictives.
- Champs des sources. Enregistrez le schéma de chaque fichier original pour distinguer un champ absent d’une valeur nulle explicite. Dans notre exemple avec DuckDB 1.4.4, changer la source qui omettait un champ a produit des fichiers fusionnés identiques, même en conservant les noms de source. Les schémas d’origine ont permis de repérer les deux changements. Combinaison des schémas dans DuckDB
- Paires dossier-annotation. Vérifiez la présence et l’unicité des identifiants de dossier, rapprochez-les de la liste attendue et comparez les annotations identifiant par identifiant. Dans notre exemple à huit lignes, deux réécritures ont conservé les mêmes métadonnées de fin de fichier et les mêmes effectifs par annotation. Dans l’une, deux annotations sont passées à d’autres dossiers. Dans l’autre, le nouvel ordre des lignes intactes a conservé toutes les paires. Structure d’un fichier Parquet
- Nombres décodés. Vérifiez le type logique et comparez les nombres que vous lirez. Dans notre exemple de nombres décimaux, passer d’une échelle de 2 à 3 a transformé 12,34 en 1,234, alors que les entiers stockés et les octets du bloc de colonne étaient identiques. Spécification du type décimal de Parquet
- Dates locales. Lorsqu’un rapport regroupe par jour local, comparez le jour de chaque événement dans le fuseau convenu. Avec PyArrow 26.0.1, deux événements ont gardé leurs instants d’origine après une réécriture sans les métadonnées du schéma Arrow. Relus en UTC, ils tombaient tous les deux le 1er juillet. Le fuseau convenu de New York a rétabli les dates du 30 juin et du 1er juillet. Options d’écriture de PyArrow
Fondez chaque contrôle sur la propriété convenue. Si l’ordre peut changer, une réorganisation qui conserve les paires valide le contrôle dossier-annotation. Si le contrat exige de prouver la présence de champs dans chaque source et que les schémas d’origine manquent, suspendez ce contrôle jusqu’à récupération des éléments nécessaires.
Vérifiez la conversion de données COCO
Lors de la conversion d’un jeu COCO de détection d’objets, comparez les tables de correspondance des images d’origine et exportées. Vérifiez que chaque image source a un identifiant numérique distinct dans l’export et que ses annotations et prédictions pointent encore vers la bonne image. Quand une table d’identifiants enregistrée est configurée, l’exportateur FiftyOne testé convertit 01 et 1 en un même entier. L’index COCO testé conserve la dernière ligne d’image pour cet identifiant et regroupe les annotations sous celui-ci. Résolvez les doublons d’identifiants avant de calculer les scores. Exportateur FiftyOne · Index COCO
Conservez si possible les identifiants d’origine. S’ils doivent changer, préservez leur ordre numérique relatif et recalculez la précision moyenne (AP) sur les données initiales et converties. Utilisez la même révision de l’évaluateur, les mêmes paramètres et les scores de prédiction non arrondis. Associez les prédictions aux images correspondantes à chaque exécution. Ajoutez un petit contrôle avec deux détections de même catégorie et de même niveau de confiance sur des images distinctes. L’une correspond à une annotation de référence et l’autre est un faux positif. L’évaluateur COCO testé trie les identifiants et conserve cet ordre en cas d’égalité de score entre images. Une renumérotation peut donc modifier l’AP sans changer les correspondances des détections. Examinez et résolvez tout écart de score avant de comparer les deux versions. Ordre des images dans COCO · Cumul des scores COCO
Guides associés
sapien1 aide les équipes à examiner leurs jeux de données et à concevoir des évaluations adaptées aux tâches que le système d’IA doit accomplir. Après l’examen des données, consultez notre guide d’évaluation des agents. Si l’examen révèle un manque de données, notre guide sur la recherche de données peut vous aider à définir ce qu’il faut trouver.