Data vinden voor het trainen en evalueren van AI
Taal van de pagina: Nederlands
Beschrijf de taak van het model, het materiaal dat je nodig hebt en het toegestane gebruik ervan. sapien1 kan helpen mogelijke bronnen te vinden en de omvang van een steekproef te bepalen, met criteria om te beslissen of je doorgaat. Beschrijf je project voor sapien1
Zoek data die passen bij de taak die je AI-systeem moet uitvoeren. sapien1 helpt je de vereisten te formuleren, mogelijke bronnen te vinden en te beoordelen of een dataset geschikt is voor training, evaluatie of het ophalen van informatie.
Begin met het gedrag dat je wilt verbeteren. Denk aan een document begrijpen, een werkproces voltooien, een hulpmiddel gebruiken of een scène interpreteren. Die keuze bepaalt welke voorbeelden, context en kwaliteitscontroles je nodig hebt.
Bepaal waarvoor je de data nodig hebt
Dezelfde verzameling kan voor verschillende doelen dienen. Trainingsvoorbeelden leren het systeem gedrag aan. Evaluatievoorbeelden toetsen dat gedrag. Een collectie voor het ophalen van informatie geeft het systeem materiaal om tijdens het beantwoorden van een vraag te raadplegen.
Beschrijf het beoogde gebruik voordat je bronnen vergelijkt. Voor een AI-agent voor klantenservice kan een nuttig trainingsvoorbeeld een verzoek combineren met de toepasselijke beleidsregel en de uitgevoerde handeling. Een evaluatietaak vraagt ook om een duidelijke manier om te controleren of de beslissing juist was. Voor het ophalen van informatie heb je de beleidsregels zelf nodig, met genoeg context om te weten welke versie geldt.
Wat je vastlegt in een briefing voor het vinden van data
| Vereiste | Wat je beschrijft |
|---|---|
| Taak | Wat het model of de agent moet doen en waar het nu moeite mee heeft |
| Dekking | Relevante domeinen, talen, regio’s, periodes en moeilijke gevallen |
| Datavorm | Documenten, code, records, audio, afbeeldingen, video, sporen van toolgebruik of een combinatie daarvan |
| Context | Labels, tijdstempels, relaties, instructies of uitkomsten die nodig zijn om een voorbeeld te begrijpen |
| Beoogd gebruik | Training, evaluatie of het ophalen van informatie, inclusief de manier waarop de data toegankelijk zijn |
| Acceptatie | Wat een bruikbare steekproef moet aantonen voordat je het project uitbreidt |
Een eerste briefing kan nog open vragen bevatten. Een concrete taak en enkele representatieve voorbeelden bieden meestal een beter vertrekpunt dan alleen een beoogd aantal bestanden.
Beoordeel een steekproef voordat je opschaalt
Een steekproef kan ontbrekende context, inconsistente labels, duplicaten en hiaten in de relevante situaties aan het licht brengen. Je team kan ook testen hoe het voorgestelde formaat in zijn eigen werkproces past. Onze gids voor het kopen van AI-trainingsdata bevat een uitgewerkt voorbeeld van zo’n beoordeling.
Noteer de herkomst en toegestane toepassingen bij de technische beoordeling. De beschrijving van een dataset moet de inhoud en de relevante beperkingen duidelijk maken. De richtlijnen van Hugging Face voor datasetkaarten bieden houvast voor die documentatie.
Bekijk wat je voorbereidt voordat je bedrijfsdata in licentie geeft voor het perspectief van de eigenaar op het beschrijven van een collectie en het beoordelen van machtigingen.
Als je eigenaar bent van een collectie waarover je wilt overleggen, kun je je data beschrijven.
Bepaal voor een project met sapien1 samen de omvang van het werk om data te vinden, hoe je de steekproef beoordeelt, wat het project oplevert en welke acceptatiecriteria gelden. De volgende stap kan een gerichte verzameling zijn, een beoordeling van data die je al hebt of een reeks taken voor evaluatie van agents.