Vurder om et KI-datasett passer til oppgaven
Språk: Norsk bokmål
Beskriv hva du skal bruke materialet til, og del en skjemabeskrivelse og en beskrivelse av prøven. Vi kan avgrense en gjennomgang av dekning, kvalitet og tillatelser, med funn som forklarer hvilke bruksområder dokumentasjonen gir grunnlag for. Beskriv prosjektet ditt for sapien1
Når du evaluerer et datasett, undersøker du om dataene du allerede har, kan gi grunnlag for en bestemt beslutning om trening, informasjonsgjenfinning eller evaluering. Start med oppgaven, og se deretter på eksemplene, konteksten og etikettene deres, dekningen og hvordan dataene er delt.
Et testsett kan for eksempel se komplett ut selv om det inneholder tilfeller modellen allerede har sett under trening. Det betyr noe når testen skal anslå ytelsen på nye tilfeller. En god gjennomgang viser hva som er sjekket, hva som må rettes, og hvilke konklusjoner det gjenværende grunnlaget støtter.
Start med beslutningen du skal ta
Skriv ned hva du vil bruke datasettet til. De samme postene kan være nyttige for ett formål og utilstrekkelige for et annet.
| Tiltenkt bruk | Et spørsmål å svare på |
|---|---|
| Trening eller finjustering | Beskriver eksemplene og etikettene atferden modellen skal lære? |
| Evaluering av en modell eller agent | Kan de forventede resultatene kontrolleres, og er testtilfellene uavhengige av materialet som ble brukt til å trene eller justere systemet? |
| Informasjonsgjenfinning | Er innholdet oppdatert, forståelig og tilgjengelig når systemet trenger det? |
Registrer datasettets versjon, kilde, datointervall, felt og kjente begrensninger. Et datasettkort kan beskrive innhold, kontekst og metadata. Sammenlign det med de faktiske filene og relevante bruksvilkår.
Et konkret eksempel på dokumentasjonskontroll er kodelageret lerobot/svla_so101_pickplace i revisjon f641879, undersøkt 17. november 2026. Datasettkortet har et metadataeksempel med codebase_version v2.1 og filstier organisert etter episoder. De faktiske metadataene i samme revisjon angir codebase_version v3.0 og filstier for filer organisert i blokker. Datamappen inneholder en fil med et navn som følger det mønsteret. Kontroller metadataene og filene i revisjonen du vil bruke, før du baserer deg på en sti kopiert fra kortet. Sammenligningen fastslår verken kvaliteten på eksemplene eller om de egner seg til trening.
Før du slår sammen robotopptak, må du undersøke hva handlings- og tilstandskanalene betyr, og hvor lang tid et fast antall trinn dekker. FineART og et simulert ALOHA-datasett oppgir begge aloha og handlings- og tilstandsvektorer med 14 elementer av typen float32. FineART oppgir 30 bilder per sekund, og det simulerte datasettet oppgir 50. Hvis hvert trinn går frem ett bildeintervall ved den oppgitte frekvensen, dekker 15 trinn 0,5 sekunder i det ene datasettet og 0,3 sekunder i det andre. Kontroller de registrerte tidsopplysningene og hvordan databehandlingen velger trinn, før du behandler utsnitt fra de to kildene som likeverdige. FineART-metadata · Metadata for simulert ALOHA
Kontroller oppdeling og kontekst med et eksempel
Anta at et team vil bruke et eksisterende merket datasett fra kundestøtte i en kontroll før de lanserer en agent som skal håndtere nye samtaler. Datasettet inneholder 120 eksempler, hvorav 90 er i treningssettet og 30 i det foreslåtte testsettet. Hvert eksempel bør inneholde en saks-ID, en samtale-ID, den gjeldende versjonen av reglene og den forventede neste handlingen.
Eksemplet er oppdiktet. Teamet gjennomgår de 30 testtilfellene og sammenligner dem med treningssettet. Dette finner de.
| Kontroll | Funn | Betydning for denne beslutningen |
|---|---|---|
| Gjentatte saker | Fire testtilfeller er bekreftet å være kopier av tilfeller i treningssettet. | De fire tilfellene finnes i treningsdataene fra før. |
| Samtaler i begge sett | Tre andre testtilfeller har ulike saks-ID-er, men tilhører samtaler som finnes i treningssettet. | Dette er ytterligere treff på tvers av settene i en test som er ment å dekke nye samtaler. |
| Regelkontekst | To av de resterende 23 testtilfellene mangler en lenke til regelversjonen. | Med den registrerte konteksten kan en faglig kontroll ennå ikke bekrefte de forventede handlingene mot gjeldende regler. |
De to første kontrollene flagger sju ulike testtilfeller, slik at 23 gjenstår uten disse treffene. To av de 23 mangler regelkontekst, så det gjenstår 21 testtilfeller som ikke ble flagget av disse kontrollene. Tallet fastslår ikke om etikettene er riktige, om dekningen er tilstrekkelig, eller om 21 tilfeller er nok til en lanseringsbeslutning.
Teamet bør vente med å bruke det nåværende settet som en uavhengig lanseringskontroll for nye samtaler. Skill ut de flaggede tilfellene for gjennomgang og gjenopprett manglende kontekst eller løs problemet. Kontroller hvilke tilfeller modellen og utviklingsteamet allerede har sett. Omplassering av filer opphever ikke tidligere bruk. Hold hver samtale samlet i den nye oppdelingen, og sammenlign testtilfellene med dokumenterte data for trening og modellvalg. Hvis opprinnelsen til tidligere treningsdata ikke kan verifiseres, dokumenter den begrensningen. Hvis eksisterende resultater påvirket finjusteringen, hold av nye tilfeller som ikke ble brukt i de beslutningene. Tren modellen på nytt med adskilte data ved behov.
Googles veiledning om å dele opp datasett forklarer hvordan duplikater i trenings- og testdata kan få resultatene til å se bedre ut enn ytelsen på nye eksempler. Scikit-learns veiledning om gruppert kryssvalidering beskriver hvordan relaterte observasjoner fra samme gruppe kan holdes samlet når målet er å måle ytelse på ukjente grupper. Hvilken gruppe som er relevant, avhenger av spørsmålet. Det kan være en samtale, en kunde eller et dokument. Hvis en test av bildetekster skal bruke bilder som mangler i treningssettet, hold alle bildetekstene for hvert bilde samlet. Fordeler du radene med bildetekster hver for seg, kan samme bilde havne i begge sett. Bruk en tidsbasert oppdeling for en test som skal representere fremtidige data, slik at treningen ikke omfatter observasjoner etter testperioden.
Anta at teamet også vil teste nye samtaler etter et skjæringstidspunkt. I en ny oppdeling har samtale A poster på begge sider av skjæringstidspunktet. Den første registrerte saken i samtale B dukker opp etterpå. Ett alternativ er å utelate A fra begge sett og holde av B til testing, forutsatt at postene fra B ikke tidligere er brukt til trening eller modellvalg. Hold treningen til data fra før skjæringstidspunktet, og sjekk hele testsettet for tidligere bruk. Registrer hva du utelot, og se om de gjenværende tilfellene dekker bruksområdet. En egen test som følger tidsrekkefølgen, kan evaluere samtaler som pågår. Hvis historikken er ufullstendig, kan det være umulig å bekrefte at B er ny.
Sjekk hvordan oppdelingsverktøyet faktisk fordeler data, før du antar at en uspesifisert andel holdes av til separat evaluering. For eksempel fordeler LeRobots funksjon for andelsbasert oppdeling i revisjon 7910c20 alle 50 episoder i et oppdiktet sett når den får train: 0.6 fulgt av test: 0.2. Den legger 30 i treningssettet og 20 i testsettet, så ingen står uten tildeling. Andre verktøy eller versjoner kan oppføre seg annerledes, og små datasett kan kreve avrunding eller omfordeling. Sjekk hvilke episoder som faktisk havner i hvert sett. Når grupper må holdes samlet, velg og registrer episodelister som holder gruppene intakte.
Et forskningsnotat om LeRobot viser hvordan en ny Diffusion-prosessor kan få lagret normaliseringsstatistikk. Notatet sammenligner verdiintervallene med sammendrag av treningsepisodene i en tenkt oppdeling der data holdes av til evaluering. Sjekk hvor statistikken prosessoren din laster inn, kommer fra, og hvilke data den gjelder.
Gå gjennom etiketter og dekning
For merkede data kan du sammenligne et utvalg forventede svar med veiledningen og dokumentasjonen de bygger på. En fagekspert kan undersøke manglende kontekst, inkonsistente etiketter og tilfeller der det riktige svaret faktisk er tvetydig. Registrer uenighet og hvordan den ble løst. Enighet mellom dem som kontrollerer dataene, er nyttig informasjon, og selve etikettens riktighet må kontrolleres mot dokumentasjonen. Forskning på kvalitetsstyring av annotering beskriver gjennomgang, enighet og avgjørelse av uenigheter som egne deler av prosessen.
Numeriske klasseetiketter trenger en kobling mellom ID-er og klassenavn og -definisjoner. Sammenlign definisjonene og ID-ene på tvers av datasettversjoner og delmengder og med koblingen som modellen forventer. Dokumenter eventuelle endringer i ID-koblingen og hvordan du håndterer manglende eller sammenslåtte klasser. Datasettveiledningen for Ultralytics Platform påpeker at sammenslåing eller sletting av klasser kan forskyve senere ID-er. Da kan eldre eksporter slutte å stemme med den oppdaterte klasselisten. Verifiser koblingen i dine egne eksporter og din egen databehandling.
Sjekk om datasettet dekker situasjoner som er relevante for den tiltenkte bruken, som vanlige henvendelser, viktige unntak, språk, tidsperioder eller andre meningsfulle grupper. En gruppe med få eksempler kan trenge mer data eller en separat analyse. Hvor mange eksempler som trengs, kan variere mellom grupper.
Dokumenter hvordan eksemplene til gjennomgangen ble valgt ut. Et håndplukket utvalg kan avdekke et problem, men feilraten i utvalget bør ikke brukes som feilrate for hele datasettet. Googles veiledning om utvalg beskriver hvordan utvelgelsen kan skjevfordele konklusjoner om en større populasjon.
Selv et tilfeldig utvalg kan overse feil. Anta at en egen, oppdiktet gruppe inneholder 120 poster, og at seks av dem har feil etikett. Hvis du velger 20 ulike poster med lik sannsynlighet uten tilbakelegging, vil omtrent 33 % av utvalgene ikke inneholde noen av de seks. Velger du 47, synker sannsynligheten for å overse alle seks til under 5 %, forutsatt at gjennomgangen oppdager hver feil etikett blant de utvalgte postene. Planleggingseksemplet forutsetter seks feil. Et feilfritt utvalg fastslår ikke at det er nøyaktig seks feil, eller at resten av postene er feilfrie. Velg størrelsen på utvalget ut fra feilhyppigheten og risikoen for å overse feil som har betydning for beslutningen. Registrer hvordan eksemplene ble valgt ut og gjennomgått. NISTs innføring i utvalg tar for seg utvelgelse og utvalgsstørrelse. Forskning om annoteringskvalitet forklarer statistisk estimering av kvalitet og utvalg til mottakskontroll.
Sammenlign leseresultater på tvers av språk
Bestem hva som må endres
Gjør funnene om til tiltak teamet kan utføre.
- Rett opp. Gjenopprett manglende kontekst, rett bekreftede feil eller oppdater instruksjonene for merking. Sjekk deretter de berørte postene på nytt.
- Begrens. Bruk datasettet bare for oppgavene eller delmengdene det kan støtte, og beskriv kjente mangler.
- Vent med bruk. Hold datasettet utenfor planlagt trening eller lanseringsbeslutningen til et vesentlig problem er løst.
- Legg til data. Samle inn eller finn eksempler for situasjoner som mangler, eller lag et nytt testsett som ikke har vært brukt til trening eller finjustering.
Sørg for at den opprinnelige og den reviderte versjonen kan identifiseres. Registrer kontrollene, utvalgsmetoden, funnene, beslutningene fra gjennomgangen og ubesvarte spørsmål slik at et annet team kan forstå hva som ble endret og hvorfor.
Verifiser et omskrevet Parquet-datasett
Når en Parquet-leveranse skrives om, må du fastslå hvilke egenskaper de nye filene må bevare for oppgaven din. Registrer de opprinnelige og reviderte filversjonene, og kjør kontrollene med leseverktøyet teamet bruker videre. Eksemplene nedenfor bruker oppdiktede data.
- Felt i kildene. Lagre skjemaet for hver originalfil hvis du må skille et manglende felt fra en uttrykkelig null-verdi. I eksemplet med DuckDB 1.4.4 ble de sammenslåtte filene identiske da vi byttet hvilken kilde som manglet feltet, selv med kildenavnene bevart. De opprinnelige skjemaene viste begge endringene. Sammenslåing av skjemaer i DuckDB
- Par av saker og etiketter. Kontroller at saks-ID-ene finnes og er unike, sammenlign dem med den forventede listen og sammenlign etikettene etter ID. To omskrivinger i eksemplet med åtte rader beholdt de samme metadataene på slutten av filen og samme antall per etikett. I den ene flyttet to etiketter til andre saker. Omorganisering av hele rader i den andre bevarte hvert par. Filstruktur for Parquet
- Dekodede tall. Sjekk den logiske typen og sammenlign tallene du kommer til å lese. I desimaleksemplet gjorde en endring av skalaen fra 2 til 3 at 12,34 ble lest som 1,234, selv om de lagrede heltallene og bytene i kolonneblokken var uendret. Desimalspesifikasjonen for Parquet
- Lokale datoer. Hvis en rapport grupperer hendelser etter lokal dag, sammenlign datoen for hver hendelse i den avtalte tidssonen. Med PyArrow 26.0.1 beholdt to hendelser de opprinnelige tidspunktene etter omskriving uten Arrows skjemametadata. Ved lesing i UTC havnet begge på 1. juli. Den avtalte tidssonen for New York gjenopprettet fordelingen mellom 30. juni og 1. juli. Skrivealternativer i PyArrow
Baser hver kontroll på den avtalte egenskapen. Hvis rekkefølgen kan endres, består en omorganisering som bevarer parene, kontrollen av saker og etiketter. Hvis kontrakten krever at det kan kontrolleres hvilke felt som finnes i hver kilde, og de opprinnelige skjemaene mangler, vent med kontrollen til dokumentasjonen er gjenopprettet.
Sjekk konverteringen av COCO-data
Når et COCO-datasett for objektdeteksjon konverteres, sammenlign den opprinnelige og eksporterte koblingen mellom bilder og ID-er. Kontroller at hvert kildebilde har en egen, entydig numerisk ID i eksporten, og at annoteringer og prediksjoner fortsatt viser til riktig bilde. Med en lagret ID-kobling konfigurert konverterer den testede FiftyOne-eksportøren 01 og 1 til samme heltall. Den testede COCO-indeksen beholder den siste bilderaden med denne ID-en og grupperer annoteringene under den. Løs problemer med dupliserte ID-er før du beregner poeng. FiftyOne-eksportøren · COCO-indeksen
Behold de opprinnelige ID-ene hvis mulig. Hvis de må endres, behold den relative tallrekkefølgen og beregn average precision (AP) på nytt for de opprinnelige og konverterte dataene. Bruk samme revisjon og innstillinger for evalueringsverktøyet og uavrundede prediksjonspoeng. Koble prediksjonene til de riktige bildene i hver kjøring. Ta med en liten kontroll med to deteksjoner med lik konfidens i samme kategori på ulike bilder. Én deteksjon skal treffe en referanseannotering, og den andre skal være falskt positiv. Det testede COCO-verktøyet sorterer ID-ene og bevarer rekkefølgen når deteksjoner på ulike bilder har lik poengsum. Omnummerering kan dermed endre AP selv når de samme deteksjonene fortsatt treffer. Løs eventuelle poengforskjeller før du sammenligner versjonene. Bilderekkefølge i COCO · Aggregering av poeng i COCO
Relaterte veiledninger
sapien1 hjelper team med å vurdere datasett og planlegge evalueringer ut fra arbeidet et KI-system skal utføre. Etter datagjennomgangen kan du bruke veiledningen vår om evaluering av agenter. Hvis gjennomgangen avdekker at det mangler data, kan veiledningen vår om å finne datakilder hjelpe deg med å beskrive hva du trenger å finne.