Vurdér, om et AI-datasæt passer til den opgave, det skal bruges til
Sprog: Dansk
Fortæl om din tilsigtede brug, og del et skema og en beskrivelse af stikprøven. Vi kan afgrænse en gennemgang af dækning, kvalitet og tilladelser med resultater, der forklarer, hvilke anvendelser dokumentationen understøtter. Beskriv dit projekt for sapien1
En evaluering af et datasæt undersøger, om de data, du allerede har, kan understøtte en bestemt beslutning om træning, informationssøgning eller evaluering. Begynd med den tilsigtede opgave. Gennemgå derefter eksemplerne, deres kontekst og mærkater, dækningen og opdelingen af data.
Et testsæt kan for eksempel se komplet ud, selv om det indeholder tilfælde, som modellen allerede har set under træningen. Det har betydning, når testen skal estimere ydeevnen på nye tilfælde. En god gennemgang viser, hvad der er kontrolleret, hvad der skal udbedres, og hvilke konklusioner det resterende grundlag kan understøtte.
Begynd med den beslutning, du skal træffe
Skriv ned, hvad du vil bruge datasættet til. De samme poster kan være nyttige til ét formål og utilstrækkelige til et andet.
| Tilsigtet anvendelse | Et spørgsmål, der skal besvares |
|---|---|
| Træning eller finjustering | Beskriver eksemplerne og mærkaterne den adfærd, som modellen skal lære? |
| Evaluering af en model eller agent | Kan de forventede resultater kontrolleres, og er testtilfældene uafhængige af det materiale, der blev brugt til at træne eller justere systemet? |
| Informationssøgning | Er indholdet aktuelt, til at fortolke og tilgængeligt for systemet, når det er nødvendigt? |
Registrér datasættets version, kilde, datointerval, felter og kendte begrænsninger. Et datasætkort kan beskrive indhold, kontekst og metadata. Sammenlign kortet med de faktiske filer og de relevante brugsvilkår.
Et konkret eksempel på dokumentationskontrol er repositoriet lerobot/svla_so101_pickplace i revision f641879, som blev undersøgt den 17. november 2026. Datasætkortet har et metadataeksempel med codebase_version v2.1 og filstier organiseret efter episoder. De faktiske metadata i samme revision angiver codebase_version v3.0 og filstier organiseret efter datablokke. Datamappen indeholder en fil med et navn, der følger mønsteret. Før du bruger en sti fra kortet, skal du kontrollere metadata og filer for den revision af repositoriet, som du vil bruge. Sammenligningen afgør ikke eksemplernes kvalitet eller deres egnethed til træning.
Inden du kombinerer optagelser fra robotter, skal du kontrollere, hvad handlings- og tilstandskanalerne betyder, og hvor meget tid et fast antal trin dækker. FineART og et simuleret ALOHA-datasæt angiver begge aloha og handlings- og tilstandsvektorer med 14 elementer af typen float32. FineART angiver 30 billeder i sekundet, og det simulerede datasæt angiver 50. Hvis hvert trin svarer til ét interval mellem billeder ved den angivne frekvens, dækker 15 trin 0,5 sekunder i det ene datasæt og 0,3 sekunder i det andet. Kontrollér de registrerede tidsoplysninger og den måde, dit behandlingsflow vælger trin på, før du betragter vinduer fra begge kilder som ens. FineART-metadata · Metadata for simuleret ALOHA
Kontrollér opdeling og kontekst med et eksempel
Forestil dig, at et team vil bruge et eksisterende mærket datasæt fra kundesupport til at kontrollere en agent inden lancering. Agenten skal håndtere nye samtaler. Datasættet indeholder 120 eksempler, hvoraf 90 ligger i træningssættet og 30 i det foreslåede testsæt. Hvert eksempel bør indeholde et sags-id, et samtale-id, den gældende version af reglerne og den forventede næste handling.
Eksemplet er opdigtet. Teamet kontrollerer de 30 testtilfælde og sammenligner dem med træningssættet. De finder følgende.
| Kontrol | Resultat | Betydning for denne beslutning |
|---|---|---|
| Gentagne sager | Fire testtilfælde er bekræftede kopier af sager i træningssættet. | De fire sager findes allerede i træningsdataene. |
| Samtaler i begge sæt | Tre andre testtilfælde har forskellige sags-id'er, men hører til samtaler, som findes i træningssættet. | Det er yderligere overlap mellem sættene i en test, der skal dække nye samtaler. |
| Regelkontekst | To af de resterende 23 testtilfælde mangler et link til versionen af reglerne. | Med den registrerede kontekst kan en faglig gennemgang endnu ikke kontrollere de forventede handlinger mod de relevante regler. |
De første to kontroller markerer syv forskellige testtilfælde, så der er 23 tilbage uden det pågældende overlap. To af de 23 mangler regelkontekst. Det efterlader 21 testtilfælde, der ikke blev markeret af disse kontroller. Tallet fastslår ikke, om mærkaterne er korrekte, om dækningen er tilstrækkelig, eller om 21 sager er nok til en lanceringsbeslutning.
Teamet bør vente med at bruge det nuværende sæt som uafhængig lanceringskontrol for nye samtaler. Adskil de markerede tilfælde til gennemgang, og genskab den manglende kontekst eller løs problemet. Undersøg, hvilke tilfælde modellen og udviklingsteamet allerede har set. Omorganisering af filer ophæver ikke tidligere brug. Hold hver samtale samlet i den nye opdeling, og kontrollér testtilfældene mod de dokumenterede data for træning og modelvalg. Hvis de tidligere træningsdatas oprindelse ikke kan kontrolleres, så registrér begrænsningen. Har tidligere resultater påvirket finjusteringen, så reservér nye tilfælde, der ikke indgik i beslutningerne. Træn om nødvendigt modellen igen med adskilte data.
Googles vejledning om opdeling af datasæt forklarer, hvordan gentagne eksempler i trænings- og testsæt kan få resultaterne til at se bedre ud end ydeevnen på nye eksempler. Scikit-learns vejledning om grupperet krydsvalidering beskriver, hvordan relaterede observationer fra samme gruppe holdes samlet, når målet er at måle ydeevnen på hidtil usete grupper. Gruppen afhænger af spørgsmålet og kan være en samtale, en kunde eller et dokument. Hvis en test af billedtekster skal bruge billeder, som ikke er med i træningssættet, så hold alle billedtekster til hvert billede samlet. Fordeles rækkerne med billedtekster enkeltvis, kan det samme billede komme med i begge sæt. Til en test, der ser fremad, skal du bruge en opdeling baseret på tid, så træningen ikke omfatter observationer fra efter testperioden.
Forestil dig også, at teamet vil teste nye samtaler efter en skæringsdato. I en ny opdeling har samtale A poster både før og efter skæringsdatoen. Den første registrerede sag i samtale B optræder derefter. En mulighed er at udelade A fra begge sæt og reservere B til testen, hvis B's poster ikke tidligere er brugt til træning eller modelvalg. Hold træningsdataene fra før skæringsdatoen, og kontrollér hele testsættet for tidligere brug. Registrér udeladelserne, og kontrollér, om de resterende tilfælde dækker anvendelsen. En særskilt test, der følger tidsrækkefølgen, kan vurdere igangværende samtaler. Med en ufuldstændig historik kan det være umuligt at bekræfte, at B er ny.
Undersøg, hvad værktøjet faktisk fordeler, før du regner med, at en uspecificeret andel bliver tilbage til særskilt evaluering. LeRobots hjælpefunktion til opdeling efter andel i revision 7910c20 fordeler for eksempel alle 50 episoder i et opdigtet sæt, når den får train: 0.6 efterfulgt af test: 0.2. Den fordeler 30 episoder til træning og 20 til test, så ingen er ufordelte. Andre værktøjer eller versioner kan opføre sig anderledes. Små sæt kan kræve afrunding eller omfordeling. Kontrollér, hvilke episoder der faktisk er i hvert sæt. Hvis grupper skal holdes samlet, så vælg og registrér episodelister, der respekterer grupperne.
En forskningsnote om LeRobot følger, hvordan en ny Diffusion-processor kan få gemt normaliseringsstatistik, og sammenligner intervallerne med oversigter over træningsepisoderne i en hypotetisk opdeling med reserverede data. Kontrollér, hvor den statistik, din egen processor indlæser, stammer fra, og hvilke data den omfatter.
Gennemgå mærkater og dækning
For mærkede data skal du sammenligne en stikprøve af de forventede svar med instruktionerne og den dokumentation, der lå til grund for dem. En fagekspert kan undersøge manglende kontekst, inkonsekvente mærkater og tilfælde, hvor det korrekte svar faktisk er tvetydigt. Registrér uenigheder, og hvordan de blev afgjort. Enighed mellem bedømmerne er nyttig information, og selve mærkatets rigtighed skal kontrolleres ud fra dokumentationen. Forskningen om kvalitetsstyring af annotering beskriver gennemgang, enighed og afgørelse af uenigheder som forskellige dele af processen.
Numeriske klassemærkater kræver en kobling fra id'er til klassenavne og definitioner. Sammenlign definitionerne og id'erne på tværs af versioner og delmængder, og kontrollér dem mod den kobling, modellen forventer. Dokumentér ændringer i id-koblingen, og hvordan du håndterer manglende eller sammenlagte klasser. Ultralytics Platforms datasætvejledning bemærker, at sammenlægning eller sletning af klasser kan forskyde efterfølgende id'er. Det kan gøre ældre eksporter uforenelige med den opdaterede klasseliste. Kontrollér koblingen i dine egne eksporter og dit behandlingsflow.
Kontrollér, om datasættet dækker situationer, der er vigtige for den tilsigtede brug, f.eks. almindelige forespørgsler, væsentlige undtagelser, sprog, tidsperioder eller andre relevante grupper. En gruppe med få eksempler kan kræve flere data eller en særskilt analyse. Det nødvendige antal eksempler kan variere mellem grupperne.
Dokumentér, hvordan eksemplerne til gennemgangen blev udvalgt. Et håndplukket sæt kan afsløre et problem, men dets fejlrate bør ikke bruges som fejlrate for hele datasættet. Googles vejledning om stikprøver beskriver, hvordan udvælgelse kan forvrænge konklusioner om en større population.
Selv en tilfældig stikprøve kan overse fejl. Forestil dig et separat, opdigtet parti med 120 poster, hvoraf seks har forkerte mærkater. Hvis du udvælger 20 forskellige poster tilfældigt, med lige sandsynlighed og uden tilbagelægning, vil cirka 33 % af stikprøverne ikke indeholde nogen af de seks. Vælger du 47 poster, falder sandsynligheden for at overse alle seks til under 5 %, hvis kontrollen identificerer ethvert forkert mærkat blandt de valgte poster. Det er et planlægningseksempel, der forudsætter seks fejl. En stikprøve uden fejl fastslår ikke, at der er præcis seks, og beviser heller ikke, at resten er fejlfrie. Vælg en stikprøvestørrelse ud fra den fejlhyppighed og risiko for at overse fejl, der har betydning for din beslutning. Registrér, hvordan eksemplerne blev valgt og kontrolleret. NIST's introduktion til stikprøver gennemgår udvælgelse og størrelse. Forskning i annoteringskvalitet forklarer statistisk kvalitetsestimering og stikprøver til acceptkontrol.
Sammenlign læsetestresultater på tværs af sprog
Beslut, hvad der skal ændres
Omsæt resultaterne til handlinger, som teamet kan gennemføre.
- Udbedr. Genskab manglende kontekst, ret bekræftede fejl eller opdatér instruktionerne til mærkning, og kontrollér derefter de berørte poster igen.
- Begræns. Brug datasættet til de opgaver eller delgrupper, som det understøtter, og beskriv kendte huller.
- Sæt brugen på pause. Hold datasættet ude af den planlagte træning eller lanceringsbeslutning, indtil et væsentligt problem er løst.
- Tilføj data. Indsaml eller find eksempler på manglende situationer, eller opret et nyt testsæt, som endnu ikke er brugt til træning eller finjustering.
Sørg for, at den oprindelige og den reviderede version kan identificeres. Registrér kontroller, udvælgelsesmetode, resultater, vurderinger og åbne spørgsmål, så et andet team kan forstå, hvad der blev ændret, og hvorfor.
Verificér et omskrevet Parquet-datasæt
Når en Parquet-leverance skrives om, skal du fastlægge, hvilke egenskaber de nye filer skal bevare for din opgave. Registrér de oprindelige og reviderede filversioner, og udfør kontrollerne med samme læseværktøj, som teamet bruger i næste trin. Eksemplerne nedenfor bruger opdigtede data.
- Felter i kilderne. Gem skemaet for hver originalfil, hvis du skal skelne mellem et felt, der mangler, og en eksplicit null-værdi. I vores DuckDB 1.4.4-eksempel gav det identiske sammenflettede filer at ændre, hvilken kilde der udelod et felt, selv med kildenavnene bevaret. De oprindelige skemaer viste begge ændringer. Kombination af skemaer i DuckDB
- Par af sager og mærkater. Kontrollér, at alle sags-id'er findes og er entydige. Afstem dem med den forventede liste, og sammenlign mærkater efter id. To omskrivninger af eksemplet med otte rækker bevarede samme metadata i filens afslutning og samme antal af hver mærkat. Ved den ene omskrivning blev to mærkater flyttet til andre sager. Ved den anden bevarede omrokering af hele rækker alle par. Strukturen af en Parquet-fil
- Afkodede tal. Kontrollér den logiske type, og sammenlign de tal, der bliver læst. I decimaleksemplet gjorde en ændring af skalaen fra 2 til 3 tallet 12,34 til 1,234, selv om de lagrede heltal og byte i kolonneblokken var uændrede. Parquets decimalspecifikation
- Lokale datoer. Når en rapport grupperer hændelser efter lokal kalenderdag, så sammenlign hver hændelses dag i den aftalte tidszone. Med PyArrow 26.0.1 beholdt to hændelser deres oprindelige tidspunkter efter en omskrivning uden Arrow-skemaets metadata. En læsning i UTC placerede begge den 1. juli. Den aftalte tidszone for New York genskabte deres oprindelige placeringer den 30. juni og den 1. juli. Skriveindstillinger i PyArrow
Basér hver kontrol på den aftalte egenskab. Hvis rækkefølgen må ændres, består en omrokering, der bevarer parrene, kontrollen af sager og mærkater. Hvis kontrakten kræver kontrol af, om felter er til stede i hver kilde, og de oprindelige skemaer mangler, skal du vente med den kontrol, indtil dokumentationen er genskabt.
Tjek konverteringen af COCO-data
Ved konvertering af et COCO-datasæt til objektdetektion skal du sammenligne de oprindelige og eksporterede billedkoblinger. Kontrollér, at hvert kildebillede har ét entydigt numerisk id i eksporten, og at annoteringer og forudsigelser stadig henviser til det rigtige billede. Når en gemt id-kobling er konfigureret, konverterer den testede FiftyOne-eksportør 01 og 1 til samme heltal. Det testede COCO-indeks beholder den sidste billedrække for det id og samler annoteringerne under det. Løs problemer med dublerede id'er før beregning af scorer. FiftyOne-eksportøren · COCO-indekset
Bevar om muligt de oprindelige id'er. Hvis de skal ændres, så bevar den indbyrdes numeriske rækkefølge, og beregn average precision (AP) igen på de oprindelige og konverterede data. Brug samme revision og indstillinger af evalueringsværktøjet samt uafrundede forudsigelsesscorer. Knyt forudsigelserne til de tilsvarende billeder i hver kørsel. Medtag en lille kontrol med to detektioner i samme kategori på forskellige billeder og med samme konfidensscore. Den ene skal matche en referenceannotering, og den anden skal være falsk positiv. Det testede COCO-værktøj sorterer id'er og bevarer rækkefølgen, når detektioner på forskellige billeder har samme score. Omnummerering kan derfor ændre AP, selv om detektionerne stadig matcher på samme måde. Afklar og løs eventuelle forskelle i scorer, før de to versioner sammenlignes. Billedrækkefølge i COCO · Sammenlægning af scorer i COCO
Relaterede vejledninger
sapien1 hjælper teams med at vurdere datasæt og planlægge evalueringer ud fra det arbejde, som et AI-system skal udføre. Efter gennemgangen af data kan du fortsætte med vores vejledning om evaluering af agenter. Hvis gennemgangen viser et hul, kan vores vejledning om at finde data hjælpe dig med at beskrive, hvad du skal lede efter.