Naar de hoofdinhoud

Menu

Beoordeel of een AI-dataset geschikt is voor de beoogde taak

Taal: Nederlands

Deel het beoogde gebruik, een schema en een beschrijving van de steekproef. We kunnen de omvang bepalen van een beoordeling van de dekking, kwaliteit en gebruiksrechten, met bevindingen die uitleggen welke toepassingen door het bewijsmateriaal worden ondersteund. Beschrijf je project voor sapien1

Bij een datasetevaluatie controleer je of de gegevens die je al hebt een concrete beslissing over training, informatie ophalen of evaluatie kunnen ondersteunen. Begin met de beoogde taak. Bekijk daarna de voorbeelden, hun context, de labels, de dekking en de verdeling van de gegevens.

Een testset kan bijvoorbeeld volledig lijken en toch gevallen bevatten die het model tijdens de training al heeft gezien. Dat doet ertoe als je met de test de prestaties op nieuwe gevallen wilt schatten. Een goede beoordeling maakt duidelijk wat is gecontroleerd, wat moet worden hersteld en welke conclusies het beschikbare bewijs toelaat.

Begin bij de beslissing

Schrijf op waarvoor je de dataset wilt gebruiken. Dezelfde records kunnen bruikbaar zijn voor het ene doel en onvoldoende voor het andere.

Beoogd gebruikEen vraag om te beantwoorden
Training of fine-tuningBeschrijven de voorbeelden en labels het gedrag dat het model moet leren?
Evaluatie van een model of agentKun je de verwachte uitkomsten verifiëren? Zijn de testgevallen onafhankelijk van de gegevens waarmee het systeem is getraind of afgesteld?
Informatie ophalenIs de inhoud actueel, interpreteerbaar en beschikbaar wanneer het systeem die nodig heeft?

Leg de versie, bron, periode, velden en bekende beperkingen van de dataset vast. Een datasetkaart kan de inhoud, context en metadata toelichten. Controleer de kaart aan de hand van de daadwerkelijke bestanden en de toepasselijke gebruiksvoorwaarden.

Neem als concreet voorbeeld de repository lerobot/svla_so101_pickplace op revisie f641879, beoordeeld op 17 november 2026. De datasetkaart bevat een metadatavoorbeeld met codebase_version v2.1 en bestandspaden per episode. In de werkelijke metadata van dezelfde revisie staat codebase_version v3.0 met paden naar bestanden die in blokken zijn ingedeeld. De gegevensmap bevat een bestand waarvan de naam dat patroon volgt. Controleer de metadata en bestanden van de revisie die je gaat gebruiken voordat je vertrouwt op een pad uit de kaart. Deze vergelijking laat de kwaliteit van de voorbeelden en hun geschiktheid voor training open.

Controleer voordat je robotopnamen combineert wat de actie- en toestandskanalen voorstellen en hoeveel tijd een vast aantal stappen omvat. FineART en een gesimuleerde ALOHA-dataset vermelden beide aloha en actie- en toestandsvectoren van elk 14 elementen van het type float32. FineART vermeldt 30 beelden per seconde, de gesimuleerde dataset 50. Als iedere stap bij de opgegeven snelheid één beeldinterval vooruitgaat, duren 15 stappen in de ene dataset 0,5 seconde en in de andere 0,3 seconde. Controleer de geregistreerde timing en hoe je pijplijn de stappen kiest voordat je tijdvensters uit beide bronnen gelijk behandelt. Metadata van FineART · Metadata van de gesimuleerde ALOHA-dataset

Controleer de verdeling en context aan de hand van een voorbeeld

Stel dat een team een bestaande gelabelde supportdataset wil gebruiken om te beslissen of het een agent kan uitbrengen die nieuwe gesprekken afhandelt. De dataset bevat 120 voorbeelden. Daarvan zijn er 90 voor training en 30 voor de voorgestelde testset. Elk voorbeeld hoort een geval-ID, een gespreks-ID, de toepasselijke versie van het supportbeleid en de verwachte volgende actie te bevatten.

Dit is een fictief voorbeeld. Het team onderzoekt de 30 testgevallen en vergelijkt ze met de trainingsset. Dit zijn de bevindingen.

ControleBevindingBetekenis voor deze beslissing
Herhaalde gevallenVier testgevallen zijn aantoonbaar kopieën van trainingsgevallen.Die vier gevallen staan ook in de trainingsset.
Gedeelde gesprekkenDrie andere testgevallen hebben verschillende geval-ID’s, maar horen bij gesprekken die in de trainingsset staan.Dat zijn extra overeenkomsten tussen deelsets in een test die nieuwe gesprekken moet afdekken.
BeleidscontextBij twee van de 23 resterende testgevallen ontbreekt een verwijzing naar de beleidsversie.Met de vastgelegde context kan een beoordelaar de verwachte acties nog niet toetsen aan het toepasselijke beleid.

De eerste twee controles wijzen zeven verschillende testgevallen aan. Voor 23 gevallen zijn die overeenkomsten niet gevonden. Bij twee van die 23 ontbreekt de beleidscontext. Daarmee blijven 21 testgevallen over waarbij deze controles geen probleem signaleerden. Het is nog de vraag of hun labels juist zijn, hun dekking volstaat en 21 gevallen genoeg zijn voor een releasebeslissing.

Het team moet wachten met het gebruik van de huidige set als onafhankelijke releasetest voor nieuwe gesprekken. Isoleer de gemarkeerde gevallen voor beoordeling en herstel of verduidelijk de ontbrekende context. Ga na wat het model en het ontwikkelteam al hebben gezien. Alleen de bestanden herschikken maakt eerder gebruikte gevallen niet nieuw. Houd bij een nieuwe verdeling elk gesprek bij elkaar en vergelijk de testgevallen met de vastgelegde gegevens voor training en modelselectie. Leg vast wanneer je de herkomst van eerdere trainingsgegevens niet kunt verifiëren. Als de bestaande uitkomsten de afstelling hebben beïnvloed, reserveer dan nieuwe gevallen die geen rol speelden bij die beslissingen. Train zo nodig opnieuw met gescheiden data.

De handleiding van Google over het verdelen van datasets legt uit hoe dubbele voorbeelden in training en test betere resultaten kunnen suggereren dan je bij nieuwe voorbeelden behaalt. De handleiding van scikit-learn voor gegroepeerde kruisvalidatie beschrijft hoe je samenhangende waarnemingen bij elkaar houdt als je prestaties op ongeziene groepen wilt bepalen. De vraag bepaalt welke groep van belang is, bijvoorbeeld een gesprek, klant of document. Als een test op bijschriften beelden moet gebruiken die buiten de trainingsset zijn gebleven, houd dan alle bijschriften per beeld bij elkaar. Bij afzonderlijke verdeling van bijschriftregels kan hetzelfde beeld in de trainings- en testset belanden. Gebruik voor een test op toekomstige gevallen een verdeling die rekening houdt met de tijdsvolgorde, zodat de trainingsset geen waarnemingen van na de testperiode bevat.

Stel dat het team ook nieuwe gesprekken na een peildatum wil testen. In een nieuwe verdeling staan records van gesprek A aan beide kanten van de peildatum. Het eerste geregistreerde geval van gesprek B valt erna. Eén mogelijkheid is om A uit beide sets te houden en B te reserveren voor de test, mits de records van B eerder buiten training en modelselectie zijn gebleven. Gebruik voor training data van vóór de peildatum en controleer de volledige testset op eerder gebruik. Leg uitzonderingen vast en controleer of de resterende gevallen het beoogde gebruik dekken. Lopende gesprekken kun je beoordelen met een aparte test die de tijdsvolgorde respecteert. Bij een onvolledige geschiedenis is het mogelijk dat je niet kunt bevestigen dat B nieuw is.

Controleer wat een hulpmiddel voor dataverdeling werkelijk toewijst voordat je aanneemt dat een niet opgegeven deel apart blijft. De LeRobot-functie voor fracties op revisie 7910c20 wijst bijvoorbeeld alle 50 episodes in een fictieve set toe bij train: 0.6 gevolgd door test: 0.2. Er gaan er 30 naar training en 20 naar de test, zodat er geen episodes overblijven. Andere hulpmiddelen of versies kunnen anders werken. Kleine sets kunnen afronding of hertoewijzing vereisen. Bekijk de werkelijk toegewezen episodes. Als groepen intact moeten blijven, kies en documenteer dan lijsten met episodes die die groepen respecteren.

Een onderzoeksnotitie over LeRobot volgt hoe een nieuwe Diffusion-processor opgeslagen normalisatiestatistieken kan ontvangen. De notitie vergelijkt die bereiken met samenvattingen van de trainingsepisodes in een fictieve verdeling met apart gehouden data. Controleer waar de statistieken van je eigen processor vandaan komen en waarop ze betrekking hebben.

Beoordeel de labels en de dekking

Vergelijk bij gelabelde data een steekproef van de verwachte antwoorden met de instructies en het bewijs waarmee ze zijn opgesteld. Een deskundige kan ontbrekende context, inconsistente labels en gevallen met werkelijk meer dan één verdedigbaar antwoord onderzoeken. Leg vast waar beoordelaars het oneens waren en hoe dat is opgelost. Overeenstemming is nuttige informatie, maar vormt op zichzelf geen bewijs dat een label juist is. Onderzoek naar kwaliteitsbeheer bij annotaties behandelt beoordeling, overeenstemming en het beslechten van meningsverschillen als aparte onderdelen.

Bij numerieke klasselabels is een koppeling nodig tussen ID’s, klassenamen en definities. Vergelijk deze definities en ID’s tussen versies en deelsets en met de koppeling die het model verwacht. Documenteer omzettingen en hoe je ontbrekende of samengevoegde klassen behandelt. De datasetdocumentatie van Ultralytics Platform vermeldt dat het samenvoegen of verwijderen van klassen de volgende ID’s kan verschuiven. Eerdere exports sluiten dan mogelijk niet meer aan op de bijgewerkte klassenlijst. Controleer de koppeling in je eigen exports en pijplijn.

Controleer of de dataset situaties dekt die van belang zijn voor het beoogde gebruik, zoals veelvoorkomende verzoeken, belangrijke uitzonderingen, talen, tijdvakken of andere relevante groepen. Een groep met weinig voorbeelden heeft mogelijk meer gegevens of een afzonderlijke analyse nodig. Het benodigde aantal voorbeelden kan per groep verschillen.

Documenteer hoe je de voorbeelden voor beoordeling hebt geselecteerd. Een handmatige selectie kan een probleem zichtbaar maken, maar het foutpercentage daarin mag je niet toepassen op de hele dataset. De richtlijnen van Google voor steekproeven leggen uit hoe de selectie conclusies over een grotere populatie kan vertekenen.

Ook een willekeurige steekproef kan fouten missen. Stel dat een afzonderlijke fictieve batch 120 records bevat, waarvan zes met een onjuist label. Als je uniform willekeurig 20 verschillende records trekt, bevat de steekproef in ongeveer 33% van de gevallen geen van die zes. Bij 47 records daalt de kans om ze alle zes te missen tot onder 5%, als beoordelaars elk onjuist label in de gekozen records vinden. Dit is een planningsvoorbeeld met zes veronderstelde fouten. Een steekproef zonder fouten toont niet aan dat het er precies zes zijn of dat de rest foutloos is. Kies een omvang die past bij de foutfrequentie en de kans op missen die voor je beslissing relevant zijn. Leg vast hoe de voorbeelden zijn gekozen en beoordeeld. De inleiding van het NIST over steekproeven behandelt selectie en omvang. Onderzoek naar de kwaliteit van annotaties legt statistische kwaliteitsschatting en acceptatiesteekproeven uit.

Leesscores vergelijken tussen talen

Beslis wat je wilt veranderen

Vertaal de bevindingen naar acties die het team kan uitvoeren.

  • Herstellen. Herstel ontbrekende context, corrigeer bevestigde fouten of werk de labelinstructies bij. Controleer daarna opnieuw de betrokken records.
  • Beperken. Gebruik de dataset alleen voor taken of deelverzamelingen waarvoor deze geschikt is en beschrijf de bekende hiaten.
  • Uitstellen. Houd de dataset buiten de beoogde training of releasebeslissing totdat het belangrijke probleem is opgelost.
  • Data toevoegen. Verzamel of werf gevallen voor ontbrekende situaties of stel een nieuwe testset samen die nog niet voor training of afstelling is gebruikt.

Zorg dat de oorspronkelijke en de herziene versie herkenbaar blijven. Leg de controles, selectiemethode, bevindingen, beslissingen van beoordelaars en open vragen vast. Zo kan een ander team begrijpen wat is gewijzigd en waarom.

Verifieer een herschreven Parquet-dataset

Bepaal bij het herschrijven van een Parquet-levering welke eigenschappen de nieuwe bestanden voor je taak moeten behouden. Noteer de oorspronkelijke en herziene bestandsversies en voer de controles uit met de lezer die je team in de volgende stappen gebruikt. De voorbeelden hieronder gebruiken fictieve gegevens.

  • Bronvelden. Bewaar het schema van ieder oorspronkelijk bestand als je een ontbrekend veld wilt onderscheiden van een expliciete null-waarde. In ons voorbeeld met DuckDB 1.4.4 leverde het omwisselen van de bron die een veld miste identieke samengevoegde bestanden op, zelfs met behoud van de bronnamen. De oorspronkelijke schema’s brachten beide wijzigingen aan het licht. Schema’s samenvoegen met DuckDB
  • Combinaties van gevallen en labels. Controleer of er voor elk geval een unieke ID is, vergelijk de ID’s met de verwachte lijst en vergelijk de labels per ID. Twee herschrijvingen van ons voorbeeld met acht rijen hielden dezelfde footermetadata en aantallen per label. In de ene herschrijving zijn twee labels aan andere gevallen gekoppeld. In de andere is alleen de volgorde van intacte rijen gewijzigd, waardoor alle combinaties zijn behouden. Opbouw van een Parquet-bestand
  • Gedecodeerde getallen. Controleer het logische type en vergelijk de waarden die je zult lezen. In het decimale voorbeeld veranderde een schaalwijziging van 2 naar 3 de waarde 12,34 in 1,234, terwijl de opgeslagen gehele getallen en de bytes van het kolomblok gelijk bleven. Parquet-specificatie voor het decimale type
  • Lokale datums. Als een rapport groepeert op lokale datum, vergelijk dan per gebeurtenis de datum in de afgesproken tijdzone. Met PyArrow 26.0.1 behielden twee gebeurtenissen hun oorspronkelijke tijdstippen na herschrijving zonder Arrow-schemametadata. Bij het teruglezen in UTC vielen ze allebei op 1 juli. In de afgesproken tijdzone New York kregen ze weer respectievelijk 30 juni en 1 juli als datum. Schrijfopties van PyArrow

Baseer elke controle op de afgesproken eigenschap. Als de volgorde mag veranderen, slaagt een herschikking die de combinaties intact laat voor de controle op gevallen en labels. Als het contract bewijs verlangt van de aanwezigheid van velden per bron en de bronschema’s ontbreken, stel die controle dan uit totdat het bewijs beschikbaar is.

Controleer de conversie van COCO-gegevens

Vergelijk bij de conversie van een COCO-dataset voor objectdetectie de oorspronkelijke en geëxporteerde koppelingen tussen beelden en ID’s. Controleer of elk bronbeeld een afzonderlijke numerieke export-ID heeft en de annotaties en voorspellingen nog steeds naar het bedoelde beeld verwijzen. Bij gebruik van een opgeslagen ID-koppeling zet de geteste FiftyOne-exporteur 01 en 1 om in hetzelfde gehele getal. De geteste COCO-index bewaart de laatste beeldrij voor die ID en groepeert de annotaties onder dezelfde ID. Los dubbele ID’s op voordat je scores berekent. FiftyOne-exporteur · COCO-index

Behoud waar mogelijk de oorspronkelijke ID’s. Als die moeten veranderen, behoud dan hun relatieve numerieke volgorde en bereken de average precision (AP) opnieuw voor de oorspronkelijke en geconverteerde data. Gebruik dezelfde versie van de evaluator, dezelfde instellingen en niet-afgeronde voorspellingsscores. Koppel bij iedere uitvoering de voorspellingen aan de bijbehorende beelden. Doe ook een kleine controle met twee detecties uit dezelfde categorie met dezelfde betrouwbaarheidsscore, op verschillende beelden. Eén detectie komt overeen met de grondwaarheid en de andere is een vals-positieve treffer. De geteste COCO-evaluator sorteert op ID en houdt die volgorde aan bij gelijke scores op verschillende beelden. Hernummering kan dus de AP wijzigen terwijl de overeenkomsten van de detecties gelijk blijven. Onderzoek en verhelp ieder scoreverschil voordat je de versies vergelijkt. Beeldvolgorde in COCO · Opeenstapeling van scores in COCO

sapien1 helpt teams datasets te beoordelen en evaluaties te plannen rond het werk dat een AI-systeem moet doen. Raadpleeg na beoordeling van de data onze gids voor agentevaluatie. Als je een datatekort ontdekt, kan onze gids voor dataverwerving helpen bepalen wat je nodig hebt.