Aller au contenu principal

Menu

Comment acheter des données d’entraînement pour l’IA

Langue: Français

Indiquez-nous ce que votre modèle doit apprendre et comment vous déterminerez si un échantillon est utile. Nous pouvons discuter des sources adaptées et des éléments à examiner avant que vous décidiez d’obtenir ou non une licence pour une collection. Décrivez votre projet à sapien1

Vous pouvez acquérir une licence pour un jeu de données existant, travailler directement avec un propriétaire de données ou commander une collecte pour une tâche précise. Avant de vous engager, définissez ce que le modèle doit apprendre, testez un échantillon au regard de cette exigence et vérifiez si les conditions proposées couvrent l’utilisation prévue.

La question utile ne se limite pas à « Quelle quantité de données est disponible ? ». Il faut aussi déterminer si les enregistrements contiennent les exemples et le contexte que votre équipe peut utiliser, et si la licence convenue couvre les personnes, les systèmes et les finalités concernés.

Choisir où obtenir les données

MéthodeQuand l’envisagerPremière question à poser
Jeu de données existantVous avez besoin d’une collection qui existe peut-être déjà.Quels sont la version, les champs, la période et les conditions d’utilisation inclus ?
Accord direct avec un propriétaire de donnéesUne organisation détient des enregistrements ou des contenus pertinents.Qui peut autoriser l’utilisation proposée et quels éléments sont couverts ?
Collecte ou préparation sur mesureLes éléments existants ne couvrent pas certains scénarios, formats ou labels importants.Que va-t-on collecter ou préparer, comment la qualité sera-t-elle vérifiée et que pourrez-vous utiliser ensuite ?
Jeu de données publicUne collection accessible peut convenir à la tâche ou servir de premier point de comparaison.Que dit sa documentation sur la source, les limites et les utilisations autorisées ?

Par exemple, Opendatabay présente une place de marché proposant des jeux de données, tandis que Clickworker décrit des services de collecte et d’annotation sur mesure. Ce sont des pistes à explorer ; vérifiez l’offre et les conditions applicables aux données précises dont vous avez besoin.

Notre guide d’approvisionnement en données explique comment décrire la tâche, la couverture et le format avant de contacter une source.

Décider de ce que doit contenir chaque exemple

Consignez le comportement attendu et les informations nécessaires pour l’évaluer. Pour un agent d’assistance, un enregistrement pourrait devoir comprendre la demande du client, la politique applicable à ce moment-là, l’action entreprise et le résultat. Pour un modèle de traitement de documents, les champs importants pourraient être les images des pages, le texte extrait, la mise en page et les labels vérifiés.

Si un échantillon de documents contient des cadres annotés, vérifiez qu’ils sont alignés sur les images livrées. Certains formats expriment les positions en fractions des dimensions de la page ; d’autres utilisent des pixels. Confirmez la page, la version de l’image, les unités, l’origine des coordonnées ainsi que tout redimensionnement, recadrage ou toute rotation, puis superposez des cadres d’échantillon pour vérifier leur alignement. Examinez également si les labels décrivent les bonnes zones.

Demandez une description de la version exacte du jeu de données : sa source, sa taille et ses unités, la période couverte, les formats, les labels, les exclusions connues et l’historique des traitements. Les recommandations de Hugging Face sur les fiches de jeux de données décrivent comment une fiche peut documenter le contenu, le contexte et des métadonnées telles que la licence, la langue et la taille. Considérez ces champs comme des informations à examiner avec la documentation sous-jacente.

Tester un échantillon au regard de vos exigences

Mettez-vous d’accord sur un échantillon et sur les vérifications à effectuer avant de décider d’élargir l’examen. Incluez les situations courantes que votre modèle rencontrera et les cas difficiles importants pour la tâche. Consignez la manière dont l’échantillon a été sélectionné et les parties de la collection proposée qu’il représente.

Les conditions de la place de marché d’Origin Lab, consultées le 18 novembre 2026, limitent les échantillons de la place de marché tels qu’ils y sont définis à une évaluation interne et interdisent de les utiliser pour tester ou évaluer un système d’IA, sauf disposition contraire expresse d’un accord commercial applicable conclu par Origin Lab. Cette restriction ne vise pas les Bench Materials, définis séparément et soumis à leurs propres conditions. Vérifiez les conditions propres à l’échantillon et tout accord applicable avant de l’examiner, de le tester, de l’utiliser pour l’entraînement ou de le partager.

Pour un échantillon audio dont les mots sont associés à des horodatages, demandez à quel enregistrement et à quelle unité de temps ils se rapportent. Si les horodatages renvoient à une copie dont les silences ont été supprimés, demandez l’identifiant de l’enregistrement source et une table de correspondance entre les segments conservés et la chronologie d’origine. Vérifiez un mot situé après une coupe interne. Dans un échantillon fictif qui assemble les secondes 2 à 4 et 7 à 9 de la source sans ajout d’intervalle, 2,5 secondes dans l’échantillon correspondent à 7,5 secondes dans la source. Ajouter le décalage de deux secondes du premier segment donne 4,5 secondes, soit une position dans l’intervalle supprimé. Correspondance des horodatages dans NeMo Curator

Vérifiez comment la livraison signale les mots dont les horodatages chevauchent un point de jonction. Dans le même échantillon fictif, la fonction auxiliaire faster-whisper testée a choisi un seul décalage pour les deux extrémités d’un intervalle chevauchant la jonction et a placé son début dans l’intervalle supprimé. Si votre utilisation exige un intervalle continu dans l’enregistrement d’origine, convenez de la façon de signaler et d’examiner ces cas avant de les accepter. Restauration des horodatages dans faster-whisper · Calcul du décalage dans faster-whisper

Prenons cet exemple fictif. Une équipe souhaite affiner un agent d’assistance qui recommande la prochaine étape pour une demande de retour. Un fournisseur propose une collection de dossiers d’assistance. L’équipe demande 12 exemples pour établir un diagnostic : six retours courants et six exceptions. Pour ce premier examen, elle exige que chaque exemple comprenne la demande du client, un lien vers la version de la politique applicable et le résultat enregistré.

VérificationExigence pour cet échantillonRésultat illustratif
Demande du clientPrésente dans les 12 exemplesPrésente dans 12 exemples sur 12
Version applicable de la politiqueLien présent dans les 12 exemplesLien présent dans 10 exemples sur 12 ; il manque dans deux cas d’exception
Résultat enregistréPrésente dans les 12 exemplesPrésent dans 11 exemples sur 12 ; il manque dans un cas courant

L’échantillon ne satisfait pas à deux des vérifications définies par l’équipe. L’étape suivante consiste à demander si les liens vers les politiques et le résultat manquants peuvent être récupérés, puis à examiner un échantillon corrigé. Si ce n’est pas possible, l’équipe peut modifier son exigence ou chercher une autre source. Un résultat enregistré n’est pas nécessairement une décision correcte : un spécialiste du domaine doit également comparer les résultats à la politique applicable.

Ces chiffres décrivent uniquement les 12 cas sélectionnés. Ils ne permettent pas d’estimer le taux d’erreur de l’ensemble de la collection. Pour évaluer plus largement la couverture, demandez comment le jeu de données se répartit entre les scénarios pertinents et convenez d’un nouvel échantillon prélevé selon une méthode documentée. Les recommandations de Google sur la qualité des données et l’échantillonnage expliquent pourquoi un échantillon sélectionné peut donner une image trompeuse d’une population plus large.

Supposons que ces 12 cas proviennent tous de 2024, mais que la collection proposée couvre la période 2022–2024. L’examen d’une copie corrigée peut confirmer les corrections apportées à ces cas ; il ne montre pas si le reste de la collection a été corrigé. Demandez quelle version du jeu de données et quels enregistrements ont été corrigés, puis convenez de la manière de sélectionner un nouvel échantillon dans la version que vous comptez acheter. Si seule l’année 2024 peut être examinée, laissez la période 2022–2023 sans évaluation et décidez s’il faut limiter l’achat ou attendre un examen plus large.

Si des enregistrements réels ne peuvent pas être partagés pour l’examen initial, demandez si un échantillon expurgé ou un accès contrôlé est possible. Un exemple synthétique peut montrer le format, mais il ne permet pas d’établir la qualité ou la couverture de la collection réelle.

Avant de recevoir un échantillon, convenez des moyens de faire respecter les restrictions d’accès : une requête qui sélectionne certaines colonnes ne restreint pas, à elle seule, l’accès au reste du fichier sous-jacent. Un pied de fichier Parquet peut également contenir des statistiques sur les colonnes. Si l’expéditeur doit limiter les données transmises, envisagez un échantillon préparé séparément avec les champs approuvés ou un service qui impose un accès au niveau des champs. Examinez les métadonnées et les contrôles d’accès en même temps que les enregistrements retournés.

Vérifier comment vous pouvez utiliser les données

Vérifiez que l’accord et les documents justificatifs correspondent au jeu de données et au projet précis. Voici les questions à discuter avec le fournisseur et les personnes responsables des examens juridique et des achats :

  • Quelle version du jeu de données est couverte et le fournisseur est-il autorisé à accorder l’utilisation proposée ?
  • L’entraînement, l’affinage, l’évaluation ou la recherche d’informations sont-ils inclus lorsque nécessaire ? Les conditions traitent-elles du déploiement commercial et des restrictions pertinentes concernant les modèles ou leurs sorties ?
  • Qui peut accéder aux données ou les traiter, y compris les prestataires ou les fournisseurs de services ? Quelles sont les conditions de livraison, de stockage, de conservation et de suppression ?
  • Existe-t-il des exclusions, des droits en amont, des éléments appartenant à des tiers ou d’autres restrictions à examiner ? Quels éléments étayent les déclarations du fournisseur sur l’origine des données et les autorisations associées ?

Consignez séparément les points confirmés et ceux qui restent à examiner. Une mention de licence ou une fiche de jeu de données aide à identifier une utilisation revendiquée ; elle ne vérifie pas à elle seule les droits sous-jacents. Un audit de jeux de données publics de texte, de parole et de vidéo a relevé des différences entre les descriptions de licence au niveau des jeux de données et les restrictions associées aux contenus sources. Ses conclusions concernent les jeux de données publics examinés, et non toutes les collections commerciales.

Par exemple, une fiche épinglée du jeu de données public de recherche SciFact décrit le jeu de données comme étant sous licence CC BY-NC 2.0 et renvoie à un fichier de licence sur la branche master du dépôt, qui peut changer. Dans un instantané épinglé de cette licence, le dépôt indique séparément CC BY 4.0 pour les affirmations et les annotations des preuves, ODC-By 1.0 pour les résumés du corpus et Apache 2.0 pour son code. Les documents peuvent décrire des versions, des composants ou des transformations différents ; ils n’établissent pas à eux seuls les conditions applicables à un fichier particulier. Associez les fichiers livrés et leurs composants en amont à la documentation pertinente, et faites examiner les questions de droits non résolues.

Prévoir l’évaluation et la livraison

Déterminez comment les données seront livrées et acceptées : formats de fichiers, manifeste ou identifiant de version, documentation, vérifications sur échantillon et modalités de correction des problèmes. Si les données servent aussi à évaluer un modèle, protégez un jeu de test distinct de l’entraînement et vérifiez l’absence de doublons entre les ensembles. Les recommandations de Google sur la répartition des jeux de données expliquent comment les doublons peuvent donner une impression exagérée de la performance d’un test.

Vérifiez quand commence la période d’inspection, comment notifier un problème, ce que signifie l’absence de réponse et quels recours s’appliquent. Par exemple, la version 1.0 de la licence standard d’ai.market pour l’entraînement d’IA accorde à l’acheteur sept jours calendaires après la première livraison pour notifier à la place de marché un écart substantiel par rapport à l’annonce. Les conditions générales de micro1, mises à jour le 12 novembre 2026, accordent à micro1, titulaire de la licence, 30 jours ouvrés après la fin de la livraison prévue au manifeste pour rejeter les données par écrit. Un autre point de départ s’applique si le fournisseur lui notifie par écrit que les données restantes ne peuvent pas être livrées. Ces documents s’appliquent à des transactions différentes et comportent d’autres conditions et exceptions. Examinez les conditions et la version qui régissent votre commande.

Un manifeste peut répertorier les fichiers attendus et les sommes de contrôle pour la version convenue du jeu de données. Convenez de la manière de vérifier la provenance du manifeste, de comparer sa liste de fichiers à ceux reçus et d’examiner les fichiers manquants, inattendus ou non concordants. Par exemple, si un manifeste fictif répertorie deux fichiers mais qu’un seul arrive, une somme de contrôle concordante pour ce fichier ne rend pas la livraison complète. La spécification BagIt distingue l’exhaustivité de la validation des sommes de contrôle pour un format de conditionnement. La concordance d’une somme de contrôle signifie que l’empreinte calculée d’un fichier correspond à celle du manifeste ; elle n’établit pas à elle seule l’identité de l’expéditeur, l’exactitude des labels, la représentativité de la couverture ou les droits d’utilisation des données. Examinez ces points séparément.

Lorsque le fournisseur envoie la version suivante, consultez comment accepter des livraisons récurrentes de données d’IA.

Pour un exemple détaillé de vérification des fuites du jeu de test et du contexte manquant, consultez notre guide d’évaluation des jeux de données.

sapien1 aide les équipes à définir leurs besoins en données, à identifier des sources possibles et à évaluer des échantillons. Commencez par la tâche, les exemples dont vous avez besoin et la décision que l’échantillon doit éclairer. Les propriétaires de données qui préparent un échange peuvent utiliser notre guide de préparation à l’octroi de licences de données.