Gå til hovedinnholdet

Meny

Slik kjøper du treningsdata til KI

Språk: Norsk bokmål

Fortell oss hva modellen din skal lære, og hvordan du vil vurdere om en prøve er nyttig. Vi kan diskutere aktuelle kilder og dokumentasjonen som bør gjennomgås før du bestemmer deg for om du vil lisensiere en samling. Beskriv prosjektet ditt for sapien1

Du kan lisensiere et eksisterende datasett, samarbeide direkte med en dataeier eller bestille innsamling for en bestemt oppgave. Før du binder deg, bør du definere hva modellen skal lære, teste et utvalg mot dette kravet og undersøke om de foreslåtte vilkårene dekker den tiltenkte bruken.

Det nyttige spørsmålet er ikke bare «Hvor mye data er tilgjengelig?». Det er også om datapostene inneholder eksemplene og konteksten teamet ditt kan bruke, og om den avtalte lisensen dekker personene, systemene og formålene som er involvert.

Velg hvor du vil skaffe dataene

AlternativNår det kan være aktueltHva du bør spørre om først
Eksisterende datasettDu trenger en samling som kanskje allerede finnes.Hvilken versjon, hvilke felter, hvilken tidsperiode og hvilke bruksvilkår er inkludert?
Direkte avtale med en dataeierÉn organisasjon har relevante dataposter eller relevant innhold.Hvem kan godkjenne den foreslåtte bruken, og hvilket materiale omfattes?
Tilpasset innsamling eller klargjøringEksisterende materiale mangler viktige scenarioer, formater eller etiketter.Hva skal samles inn eller klargjøres, hvordan skal kvaliteten kontrolleres, og hva kan du bruke etterpå?
Offentlig datasettEn tilgjengelig samling kan passe til oppgaven eller gi et første sammenligningsgrunnlag.Hva sier dokumentasjonen om kilde, begrensninger og tillatt bruk?

Opendatabay presenterer for eksempel en markedsplass med datasettoppføringer, mens Clickworker beskriver tjenester for tilpasset innsamling og annotering. Dette er utgangspunkter for videre undersøkelser. Kontroller tilbudet og vilkårene for de konkrete dataene du trenger.

Guiden vår til å skaffe data handler om hvordan du beskriver oppgaven, dekningen og formatet før du kontakter en kilde.

Bestem hva hvert eksempel skal inneholde

Skriv ned ønsket atferd og informasjonen som trengs for å vurdere den. For en støtteagent kan en datapost måtte inneholde kundens forespørsel, regelverket som gjaldt på tidspunktet, tiltaket som ble gjennomført og resultatet. For en dokumentmodell kan viktige felter være sidebilder, uttrukket tekst, layout og verifiserte etiketter.

Hvis et dokumentutvalg inneholder merkede bokser, bør du kontrollere at boksene samsvarer med bildene som leveres. Noen formater angir posisjoner som andeler av sidens dimensjoner, andre bruker piksler. Bekreft side, bildeversjon, enheter, koordinatenes utgangspunkt og eventuell endring av størrelse, beskjæring eller rotasjon. Legg deretter et utvalg bokser over bildene for å kontrollere at de samsvarer. Gå også gjennom om etikettene beskriver de riktige områdene.

Be om en beskrivelse av den nøyaktige datasettversjonen: kilde, størrelse og enheter, tidsdekning, formater, etiketter, kjente utelatelser og behandlingshistorikk. Hugging Faces veiledning for datasettkort beskriver hvordan et kort kan dokumentere innhold, kontekst og metadata som lisens, språk og størrelse. Se på disse feltene som informasjon som skal gjennomgås sammen med den underliggende dokumentasjonen.

Test et utvalg mot kravene dine

Bli enige om et utvalg og kontrollene før dere bestemmer om dere skal gå videre med en større mengde. Ta med både de vanlige situasjonene modellen vil møte og de vanskelige tilfellene som er viktige for oppgaven. Dokumenter hvordan utvalget ble valgt, og hvilke deler av den foreslåtte samlingen det representerer.

Origin Labs markedsplassvilkår, lest 18. november 2026, begrenser bruk av utvalg som er definert som markedsplassutvalg, til intern evaluering. De forbyr også bruk av slike utvalg til å teste eller evaluere et KI-system, med mindre en relevant kommersiell avtale inngått av Origin Lab uttrykkelig sier noe annet. Denne begrensningen for utvalg omfatter ikke separat definerte Bench Materials, som har egne vilkår. Kontroller de konkrete vilkårene for utvalget og eventuelle avtaler før du undersøker, tester, trener på eller deler det.

For et taleutvalg med tidsstempler for ord bør du spørre hvilket opptak og hvilken tidsenhet som brukes. Hvis tidsstemplene viser til en kopi der stillhet er fjernet, bør du be om identifikatoren for kildeopptaket og en oversikt som knytter de bevarte tidsintervallene til den opprinnelige tidslinjen. Kontroller et ord etter et klipp inne i opptaket. I et oppdiktet utvalg som setter sammen sekund 2–4 og 7–9 fra kilden uten utfylling, svarer 2,5 sekunder i utvalget til 7,5 sekunder i kilden. Hvis du legger til forskyvningen på to sekunder fra det første intervallet, får du 4,5 sekunder, som ligger i det fjernede mellomrommet. Tidsstempelkobling i NeMo Curator

Kontroller hvordan leveransen markerer ord med tidsstempler som krysser en sammenføyning. I det samme oppdiktede utvalget valgte den testede hjelpefunksjonen i faster-whisper én forskyvning for begge endene av et kryssende intervall og plasserte starten i det fjernede mellomrommet. Hvis bruken din krever et sammenhengende intervall i det opprinnelige opptaket, bør dere avtale hvordan slike tilfeller skal flagges og gjennomgås før de godtas. Gjenoppretting av tidsstempler i faster-whisper · Beregning av forskyvning i faster-whisper

Se for deg dette oppdiktede eksemplet. Et team vil finjustere en støtteagent som anbefaler neste steg i en returforespørsel. En leverandør foreslår en samling støttesaker. Teamet ber om 12 eksempler til kontroll: seks vanlige returer og seks unntakstilfeller. For denne første gjennomgangen krever teamet at hvert eksempel inneholder kundens forespørsel, en lenke til versjonen av regelverket som gjaldt, og det registrerte resultatet.

KontrollKrav til dette utvalgetEksempel på resultat
Kundens forespørselFinnes i alle de 12 eksemplene12 av 12 har den
Gjeldende versjon av regelverketLenket i alle de 12 eksemplene10 av 12 har lenken; to unntakstilfeller mangler den
Registrert resultatFinnes i alle de 12 eksemplene11 av 12 har det; ett vanlig tilfelle mangler et resultat

Utvalget oppfyller ikke to av kontrollkravene teamet har satt. Neste steg er å spørre om de manglende lenkene til regelverket og det manglende resultatet kan hentes frem, og å gjennomgå et korrigert utvalg. Hvis det ikke er mulig, kan teamet endre kravet sitt eller se etter en annen kilde. Et registrert resultat er ikke automatisk en riktig beslutning: En fagperson bør også sammenligne resultatene med regelverket som gjaldt.

Disse tallene beskriver bare de 12 utvalgte sakene. De gir ikke et anslag over feilraten i hele samlingen. For å vurdere bredere dekning bør du spørre hvordan datasettet er fordelt på relevante scenarioer, og avtale et nytt utvalg som trekkes etter en dokumentert metode. Googles veiledning om datakvalitet og utvalg forklarer hvorfor et utvalgt datasett kan gi et misvisende bilde av en større populasjon.

Anta at alle de 12 sakene kom fra 2024, mens samlingen som tilbys, dekker 2022–2024. En kontroll av en korrigert kopi kan bekrefte rettelsene i disse sakene, men viser ikke om resten av samlingen er korrigert. Spør hvilken datasettversjon og hvilke dataposter som ble korrigert, og avtal deretter hvordan dere skal velge et nytt utvalg fra versjonen du har tenkt å kjøpe. Hvis bare 2024 kan gjennomgås, må 2022–2023 stå som ikke vurdert. Bestem deretter om kjøpet skal avgrenses eller om dere skal vente på en bredere gjennomgang.

Hvis faktiske dataposter ikke kan deles i den første gjennomgangen, kan du spørre om et renset utvalg eller kontrollert tilgang er mulig. Et syntetisk eksempel kan vise formatet, men kan ikke dokumentere kvaliteten på eller dekningen i den faktiske samlingen.

Avtal hvordan tilgangen skal håndheves før du mottar et utvalg: En spørring som velger bestemte kolonner, begrenser ikke i seg selv tilgangen til resten av den underliggende filen. En Parquet-footer kan også inneholde kolonnestatistikk. Hvis avsenderen må begrense hva som krysser grensen, kan dere vurdere et separat klargjort utvalg med godkjente felter eller en tjeneste som håndhever tilgang på feltnivå. Gå gjennom metadata og tilgangskontroller sammen med datapostene som returneres.

Sjekk hvordan du har lov til å bruke dataene

Kontroller at avtalen og den tilhørende dokumentasjonen passer til det konkrete datasettet og prosjektet. Spørsmål du bør diskutere med leverandøren og dem som er ansvarlige for juridisk gjennomgang og innkjøp, omfatter:

  • Hvilken datasettversjon er dekket, og har leverandøren fullmakt til å gi tillatelse til den foreslåtte bruken?
  • Er trening, finjustering, evaluering eller gjenfinning inkludert der det er nødvendig? Omtaler vilkårene kommersiell bruk i produksjon og eventuelle relevante begrensninger for modeller eller utdata?
  • Hvem kan få tilgang til eller behandle dataene, inkludert oppdragstakere eller tjenesteleverandører? Hvilke vilkår gjelder for levering, lagring, oppbevaringstid og sletting?
  • Finnes det utelatelser, rettigheter tidligere i verdikjeden, tredjepartsmateriale eller andre begrensninger som må gjennomgås? Hvilken dokumentasjon finnes for leverandørens beskrivelse av dataenes opprinnelse og tillatelser?

Noter separat hva som er bekreftet, og hva som fortsatt må gjennomgås. En lisensbetegnelse eller et datasettkort bidrar til å identifisere en oppgitt brukstillatelse, men verifiserer ikke i seg selv de underliggende rettighetene. En gjennomgang av offentlige datasett med tekst, tale og video fant forskjeller mellom lisensbeskrivelser på datasettnivå og begrensninger knyttet til kildeinnholdet. Funnene gjelder de offentlige datasettene som ble undersøkt, ikke alle kommersielle samlinger.

Et fastlåst kort for det offentlige forskningsdatasettet SciFact beskriver for eksempel datasettet som CC BY-NC 2.0 og lenker til en lisensfil på repositoriets master-gren, som kan endres. I et fastlåst øyeblikksbilde av denne lisensen beskriver repositoriet separat CC BY 4.0 for påstander og evidensannotasjoner, ODC-By 1.0 for sammendragene i korpuset og Apache 2.0 for koden. Dokumentene kan beskrive ulike versjoner, komponenter eller bearbeidinger. De fastslår ikke i seg selv vilkårene for en bestemt fil. Knytt leverte filer og komponentene de bygger på, til relevant dokumentasjon, og få uavklarte rettighetsspørsmål gjennomgått.

Planlegg evaluering og levering

Bestem hvordan dataene skal leveres og godkjennes: filformater, en manifestfil eller versjonsidentifikator, dokumentasjon, utvalgskontroller og hvordan problemer skal rettes. Hvis dataene også skal brukes til å evaluere en modell, bør du holde et separat testsett utenfor treningen og kontrollere om det finnes duplikater på tvers av oppdelingen. Googles veiledning om oppdeling av datasett forklarer hvordan duplikater kan få et testresultat til å se bedre ut enn det er.

Kontroller når inspeksjonsperioden starter, hvordan du skal varsle, hva manglende svar innebærer, og hvilke misligholdsbeføyelser som gjelder. Versjon 1.0 av ai.markets standardlisens for KI-trening gir for eksempel en kjøper sju kalenderdager etter første levering til å varsle markedsplassen om et vesentlig avvik fra oppføringen. micro1s hovedvilkår, oppdatert 12. november 2026, gir micro1, som er lisenstaker, 30 virkedager etter at leveringen er fullført i henhold til manifestfilen, til å avvise data skriftlig. Et eget starttidspunkt gjelder hvis leverandøren skriftlig varsler micro1 om at de resterende dataene ikke kan leveres. Dokumentene gjelder ulike transaksjoner og inneholder ytterligere betingelser og unntak. Gå gjennom vilkårene og versjonen som gjelder for bestillingen din.

En manifestfil kan liste opp forventede filer og kontrollsummer for den avtalte datasettversjonen. Avtal hvordan dere skal verifisere kilden til manifestfilen, sammenligne fillisten med det som kom frem, og undersøke manglende eller uventede filer og filer som ikke samsvarer. Hvis en oppdiktet manifestfil for eksempel lister opp to filer, men bare én kommer frem, gjør ikke en samsvarende kontrollsum for denne filen leveransen komplett. BagIt-spesifikasjonen skiller mellom fullstendighet og kontrollsumvalidering for ett pakkeformat. En samsvarende kontrollsum betyr at filens beregnede kontrollsum stemmer med manifestfilen. Den fastslår ikke i seg selv avsenderens identitet, riktige etiketter, representativ dekning eller rettigheter til å bruke dataene. Gå gjennom disse forholdene separat.

Når en leverandør sender neste versjon, kan du lese hvordan du godkjenner gjentatte leveranser av KI-data.

Se guiden vår til datasettevaluering for et gjennomarbeidet eksempel på kontroll av lekkasje fra testsett og manglende kontekst.

sapien1 hjelper team med å avklare datakrav, identifisere mulige kilder og vurdere utvalg. Start med oppgaven, eksemplene du trenger og beslutningen et utvalg skal gi grunnlag for. Dataeiere som forbereder seg til en samtale, kan bruke guiden vår til forberedelse av datalisensiering.