Gå til hovedindholdet

Menu

Sådan køber du AI-træningsdata

Sprog: Dansk

Fortæl os, hvad din model skal lære, og hvordan du vil vurdere, om en stikprøve er nyttig. Vi kan drøfte egnede kilder og den dokumentation, der skal gennemgås, før du beslutter, om du vil købe en licens til en samling. Beskriv dit projekt for sapien1

Du kan købe licens til et eksisterende datasæt, arbejde direkte med en dataejer eller bestille indsamling til en bestemt opgave. Før du forpligter dig, skal du definere, hvad modellen skal lære, teste en stikprøve mod det krav og kontrollere, om de foreslåede vilkår dækker den påtænkte anvendelse.

Det relevante spørgsmål er ikke kun ”Hvor mange data er tilgængelige?” Det er også, om posterne indeholder eksempler og kontekst, som dit team kan bruge, og om den aftalte licens dækker de involverede personer, systemer og formål.

Vælg, hvor du vil skaffe data

MulighedHvornår den er relevantHvad du først skal spørge om
Eksisterende datasætDu har brug for en samling, som måske allerede findes.Hvilken version, hvilke felter, hvilken tidsperiode og hvilke anvendelsesvilkår er omfattet?
Direkte aftale med en dataejerEn organisation ligger inde med relevante poster eller relevant indhold.Hvem kan give tilladelse til den foreslåede anvendelse, og hvilket materiale er omfattet?
Specialtilpasset indsamling eller klargøringEksisterende materiale mangler vigtige scenarier, formater eller labels.Hvad vil blive indsamlet eller klargjort, hvordan vil kvaliteten blive kontrolleret, og hvad kan du bruge bagefter?
Offentligt datasætEn tilgængelig samling kan passe til opgaven eller give et indledende sammenligningsgrundlag.Hvad siger dokumentationen om kilde, begrænsninger og tilladt anvendelse?

Opendatabay præsenterer for eksempel en markedsplads med oversigter over datasæt, mens Clickworker beskriver specialtilpassede tjenester til indsamling og annotering. Det er udgangspunkter for videre undersøgelse. Kontroller tilbuddet og vilkårene for netop de data, du har brug for.

Vores guide til at skaffe data gennemgår, hvordan du beskriver opgaven, dækningen og formatet, før du kontakter en kilde.

Bestem, hvad hvert eksempel skal indeholde

Skriv den ønskede adfærd og de oplysninger, der er nødvendige for at vurdere den, ned. For en supportagent kan en post skulle indeholde kundens henvendelse, den politik, der gjaldt på tidspunktet, den handling, der blev udført, og resultatet. For en dokumentmodel kan de vigtige felter være sidebilleder, udtrukket tekst, layout og verificerede labels.

Hvis en dokumentstikprøve indeholder markeringsbokse med labels, skal du kontrollere, at boksene passer til de leverede billeder. Nogle formater angiver positioner som andele af sidens dimensioner, mens andre bruger pixel. Bekræft siden, billedversionen, enhederne, koordinatsystemets nulpunkt og eventuel skalering, beskæring eller rotation. Læg derefter et udvalg af boksene oven på billederne for at kontrollere, at de passer. Gennemgå også, om labelerne beskriver de rigtige områder.

Bed om en beskrivelse af den præcise version af datasættet: kilde, størrelse og enheder, tidsmæssig dækning, formater, labels, kendte udeladelser og behandlingshistorik. Hugging Faces vejledning til datasætkort beskriver, hvordan et kort kan dokumentere indhold, kontekst og metadata som licens, sprog og størrelse. Betragt felterne som oplysninger, der skal gennemgås sammen med den underliggende dokumentation.

Test en stikprøve mod dine krav

Aftal stikprøven og kontrollerne, før I beslutter, om I vil udvide. Medtag de rutinesituationer, som din model vil møde, og de vanskelige tilfælde, der er vigtige for opgaven. Dokumenter, hvordan stikprøven blev udvalgt, og hvilke dele af den foreslåede samling den repræsenterer.

Origin Labs markedspladsvilkår, som blev læst den 18. november 2026, begrænser de deri definerede markedspladsstikprøver til intern evaluering og forbyder at bruge dem til at teste eller evaluere et AI-system, medmindre en gældende kommerciel aftale, som Origin Lab har indgået, udtrykkeligt siger noget andet. Denne begrænsning for stikprøver omfatter ikke særskilt definerede Bench Materials, som har deres egne vilkår. Kontroller de specifikke vilkår for stikprøven og eventuelle aftaler, før du undersøger, tester, træner på eller deler den.

For en talestikprøve med tidsstempler på ordniveau skal du spørge, hvilken optagelse og tidsenhed tidsstemplerne bruger. Hvis tidsstemplerne henviser til en kopi, hvor stilhed er fjernet, skal du bede om kildeoptagelsens identifikator og en oversigt, der knytter de bevarede sekvenser til den oprindelige tidslinje. Kontroller et ord efter et klip inde i optagelsen. I en fiktiv stikprøve, der sammenføjer sekund 2–4 og 7–9 fra kilden uden indsatte pauser, svarer 2,5 sekunder i stikprøven til 7,5 sekunder i kilden. Hvis man lægger forskydningen på to sekunder fra den første sekvens til, får man 4,5 sekunder, som ligger i det fjernede interval. NeMo Curator: Kortlægning af tidsstempler

Kontroller, hvordan leverancen markerer ord, hvis tidsstempler krydser en sammenføjning. I den samme fiktive stikprøve valgte den testede hjælpefunktion i faster-whisper én forskydning til begge ender af et interval, der krydsede en sammenføjning, og placerede intervallets start i det fjernede interval. Hvis din anvendelse kræver et sammenhængende interval i den oprindelige optagelse, skal I aftale, hvordan disse tilfælde skal markeres og gennemgås, før de accepteres. faster-whisper: Gendannelse af tidsstempler · faster-whisper: Beregning af forskydning

Se på dette fiktive eksempel. Et team vil finjustere en supportagent, der anbefaler næste skridt i forbindelse med en returneringsanmodning. En leverandør foreslår en samling supportsager. Teamet beder om 12 eksempler til vurdering: seks rutinemæssige returneringer og seks undtagelser. Til denne første gennemgang kræver teamet, at hvert eksempel indeholder kundens henvendelse, et link til den politikversion, der gjaldt, og det registrerede resultat.

KontrolKrav til denne stikprøveIllustrativt resultat
Kundens henvendelseFindes i alle 12 eksempler12 ud af 12 har den
Gældende politikversionDer er et link i alle 12 eksempler10 ud af 12 har det. I to undtagelsessager mangler linket
Registreret resultatFindes i alle 12 eksempler11 ud af 12 har det. I én rutinesag mangler et resultat

Stikprøven består ikke to af teamets angivne kontroller. Næste skridt er at spørge, om de manglende politiklinks og det manglende resultat kan fremskaffes, og at gennemgå en rettet stikprøve. Hvis det ikke er muligt, kan teamet ændre sit krav eller lede efter en anden kilde. Et registreret resultat er ikke automatisk en korrekt beslutning. En fagperson bør også sammenligne resultaterne med den gældende politik.

Disse tal beskriver kun de 12 udvalgte sager. De giver ikke et estimat af fejlraten i hele samlingen. For at vurdere den bredere dækning skal du spørge, hvordan datasættet er fordelt på relevante scenarier, og aftale en yderligere stikprøve, der udvælges efter en dokumenteret metode. Googles vejledning om datakvalitet og stikprøver forklarer, hvorfor en udvalgt stikprøve kan give et misvisende billede af en større population.

Antag, at alle 12 sager er fra 2024, mens den tilbudte samling dækker 2022–2024. En kontrol af en rettet kopi kan bekræfte rettelserne i disse sager. Den viser ikke, om resten af samlingen er blevet rettet. Spørg, hvilken version af datasættet og hvilke poster der er blevet rettet, og aftal derefter, hvordan I vil udvælge en ny stikprøve fra den version, du vil købe. Hvis kun 2024 kan gennemgås, skal 2022–2023 stå som ikke vurderet. Beslut derefter, om købet skal begrænses, eller om I vil vente på en bredere gennemgang.

Hvis rigtige poster ikke kan deles til den indledende gennemgang, kan du spørge, om en anonymiseret stikprøve eller kontrolleret adgang er mulig. Et syntetisk eksempel kan vise formatet, men det kan ikke fastslå kvaliteten eller dækningen af den faktiske samling.

Aftal, hvordan adgangsbegrænsninger håndhæves, før du modtager en stikprøve. En forespørgsel, der udvælger bestemte kolonner, begrænser ikke i sig selv adgangen til resten af den underliggende fil. En Parquet-footer kan også indeholde kolonnestatistik. Hvis afsenderen har brug for at begrænse, hvad der krydser grænsen, kan I overveje en særskilt klargjort stikprøve med godkendte felter eller en tjeneste, der håndhæver adgang på feltniveau. Gennemgå metadata og adgangskontroller sammen med de returnerede poster.

Tjek, hvordan du må bruge dataene

Kontroller, at aftalen og den understøttende dokumentation passer til det konkrete datasæt og projekt. Spørgsmål, der kan drøftes med leverandøren og de ansvarlige for den juridiske gennemgang og indkøbsgennemgangen, omfatter:

  • Hvilken version af datasættet er omfattet, og har leverandøren ret til at give tilladelse til den foreslåede anvendelse?
  • Er træning, finjustering, evaluering eller genfinding omfattet, hvor det er nødvendigt? Omhandler vilkårene kommerciel brug i drift og eventuelle relevante begrænsninger for modeller eller output?
  • Hvem må tilgå eller behandle dataene, herunder kontraktansatte eller tjenesteudbydere? Hvad er vilkårene for levering, lagring, opbevaring og sletning?
  • Er der undtagelser, rettigheder fra tidligere led, tredjepartsmateriale eller andre begrænsninger, som skal gennemgås? Hvilken dokumentation findes der for leverandørens beskrivelse af dataenes oprindelse og tilladelser?

Noter særskilt, hvad der er bekræftet, og hvad der stadig skal gennemgås. En licensbetegnelse eller et datasætkort kan hjælpe med at identificere en angivet anvendelse, men bekræfter ikke i sig selv de underliggende rettigheder. En undersøgelse af offentlige datasæt med tekst, tale og video fandt forskelle mellem licensbeskrivelser på datasætniveau og begrænsninger knyttet til kildeindholdet. Resultaterne vedrører de undersøgte offentlige datasæt og ikke alle kommercielle samlinger.

Et fastlåst kort for det offentlige forskningsdatasæt SciFact beskriver for eksempel datasættet som CC BY-NC 2.0 og linker til en licensfil på repositoriets master-branch, som kan ændre sig. I et fastlåst øjebliksbillede af licensen beskriver repositoriet særskilt CC BY 4.0 for påstande og evidensannoteringer, ODC-By 1.0 for korpusresuméer og Apache 2.0 for koden. Dokumenterne kan beskrive forskellige versioner, komponenter eller transformationer. De fastslår ikke i sig selv vilkårene for en bestemt fil. Knyt de leverede filer og deres komponenter fra tidligere led til den relevante dokumentation, og få uafklarede spørgsmål om rettigheder gennemgået.

Planlæg evaluering og levering

Beslut, hvordan dataene skal leveres og accepteres: filformater, et manifest eller en versionsidentifikator, dokumentation, stikprøvekontroller og hvordan problemer skal rettes. Hvis dataene også skal bruges til at evaluere en model, skal du holde et særskilt testsæt uden for træningen og kontrollere for dubletter på tværs af opdelingen. Googles vejledning til opdeling af datasæt forklarer, hvordan dubletter kan få en test til at se bedre ud, end den er.

Kontroller, hvornår gennemgangsperioden begynder, hvordan der skal gives besked, hvad manglende svar betyder, og hvilke misligholdelsesbeføjelser der gælder. Version 1.0 af ai.markets standardlicens til AI-træning giver for eksempel en køber syv kalenderdage efter første levering til at give markedspladsen besked om en væsentlig uoverensstemmelse med beskrivelsen i opslaget. micro1s hovedvilkår, opdateret den 12. november 2026, giver micro1, som er licenstageren, 30 arbejdsdage efter, at leveringen er gennemført i henhold til manifestet, til at afvise data skriftligt. En anden udløser gælder, hvis leverandøren skriftligt giver micro1 besked om, at de resterende data ikke kan leveres. Dokumenterne gælder for forskellige transaktioner og indeholder yderligere betingelser og undtagelser. Gennemgå de vilkår og den version, der gælder for din ordre.

Et manifest kan angive de forventede filer og kontrolsummer for den aftalte version af datasættet. Aftal, hvordan I vil verificere manifestets oprindelse, sammenligne dets filliste med det, der er ankommet, og undersøge manglende, uventede eller afvigende filer. Hvis et fiktivt manifest for eksempel angiver to filer, men kun én ankommer, gør en matchende kontrolsum for den fil ikke leverancen komplet. BagIt-specifikationen skelner mellem fuldstændighed og validering af kontrolsummer for ét pakkeformat. Et match i kontrolsummen betyder, at en fils beregnede digest stemmer overens med manifestet. Det fastslår ikke i sig selv afsenderens identitet, korrekte labels, repræsentativ dækning eller rettigheder til at bruge dataene. Gennemgå disse forhold særskilt.

Når en leverandør sender den næste version, kan du læse hvordan du accepterer tilbagevendende leverancer af AI-data.

Du kan se et gennemarbejdet eksempel på kontrol for lækage fra testsættet og manglende kontekst i vores guide til evaluering af datasæt.

sapien1 hjælper teams med at afgrænse datakrav, identificere mulige kilder og vurdere stikprøver. Begynd med opgaven, de eksempler, du har brug for, og den beslutning, som en stikprøve skal understøtte. Dataejere, der forbereder sig på en samtale, kan bruge vores guide til forberedelse af datalicensering.