Så köper du träningsdata för AI
Språk: Svenska
Berätta vad din modell behöver lära sig och hur du avgör om ett urval är användbart. Vi kan diskutera lämpliga källor och vilket underlag som bör granskas innan du beslutar om du ska licensiera en samling. Beskriv ditt projekt för sapien1
Du kan licensiera ett befintligt dataset, samarbeta direkt med en dataägare eller beställa en insamling för en specifik uppgift. Innan du binder dig bör du definiera vad modellen behöver lära sig, testa ett prov mot det kravet och kontrollera om de föreslagna villkoren täcker den avsedda användningen.
Den relevanta frågan är inte bara ”Hur mycket data finns tillgänglig?” Den är också om posterna innehåller exempel och sammanhang som ditt team kan använda och om den överenskomna licensen täcker de personer, system och syften som berörs.
Välj var du ska skaffa data
| Alternativ | När det kan passa | Vad du bör fråga först |
|---|---|---|
| Befintligt dataset | Du behöver en samling som redan kan finnas. | Vilken version, vilka fält, vilken tidsperiod och vilka användningsvillkor ingår? |
| Direkt avtal med en dataägare | En organisation har relevanta poster eller relevant innehåll. | Vem kan godkänna den föreslagna användningen och vilket material omfattas? |
| Anpassad insamling eller bearbetning | Befintligt material saknar viktiga scenarier, format eller etiketter. | Vad ska samlas in eller bearbetas, hur ska kvaliteten kontrolleras och vad får du använda efteråt? |
| Offentligt dataset | En tillgänglig samling kan passa uppgiften eller ge en första jämförelse. | Vad säger dokumentationen om källa, begränsningar och tillåten användning? |
Till exempel presenterar Opendatabay en marknadsplats med datasetannonser, medan Clickworker beskriver tjänster för anpassad insamling och annotering. Det är utgångspunkter för vidare undersökning. Kontrollera erbjudandet och villkoren för just de data du behöver.
Vår guide till att skaffa data beskriver hur du kan ange uppgift, täckning och format innan du kontaktar en källa.
Bestäm vad varje exempel ska innehålla
Skriv ner det avsedda beteendet och den information som behövs för att bedöma det. För en supportagent kan en post behöva innehålla kundens förfrågan, den policy som gällde vid tillfället, åtgärden som vidtogs och utfallet. För en dokumentmodell kan de viktiga fälten vara sidbilder, extraherad text, layout och verifierade etiketter.
Om ett dokumentprov innehåller etiketterade rutor bör du kontrollera att rutorna ligger rätt i förhållande till de levererade bilderna. Vissa format anger positioner som andelar av sidans mått, andra använder pixlar. Bekräfta sida, bildversion, enheter, koordinatsystemets origo och eventuell storleksändring, beskärning eller rotation. Lägg sedan provrutorna ovanpå bilderna för att kontrollera passningen. Granska också om etiketterna beskriver rätt områden.
Be om en beskrivning av den exakta datasetversionen: källa, storlek och enheter, tidsmässig täckning, format, etiketter, kända undantag och bearbetningshistorik. Hugging Faces vägledning för datasetkort beskriver hur ett kort kan dokumentera innehåll, sammanhang och metadata som licens, språk och storlek. Se dessa fält som information att granska tillsammans med den underliggande dokumentationen.
Testa ett prov mot dina krav
Kom överens om ett prov och vilka kontroller som ska göras innan du beslutar om ni ska gå vidare i större skala. Ta med de vanliga situationer som modellen kommer att möta och de svåra fall som är viktiga för uppgiften. Dokumentera hur provet valdes ut och vilka delar av den föreslagna samlingen det representerar.
Origin Labs marknadsplatsvillkor, lästa den 18 november 2026, begränsar de prover som där definieras som marknadsplatsprover till intern utvärdering och förbjuder att de används för att testa eller utvärdera ett AI-system, såvida inte ett tillämpligt kommersiellt avtal som ingåtts av Origin Lab uttryckligen anger något annat. Den begränsningen för prover omfattar inte separat definierade Bench Materials, som har egna villkor. Kontrollera provets specifika villkor och eventuella avtal innan du granskar, testar, tränar på eller delar det.
För ett talprov med tidsstämplar på ordnivå bör du fråga vilken inspelning och tidsenhet de använder. Om tidsstämplarna avser en kopia där tystnad har tagits bort, be om källinspelningens identifierare och en mappning av de kvarvarande intervallen till den ursprungliga tidslinjen. Kontrollera ett ord efter ett klipp inne i inspelningen. I ett fiktivt prov som sammanfogar sekund 2–4 och 7–9 från källan utan mellanrum motsvarar 2,5 sekunder i provet 7,5 sekunder i källan. Om man lägger till det första intervallets förskjutning på två sekunder blir resultatet 4,5 sekunder, inne i det borttagna intervallet. Mappning av tidsstämplar i NeMo Curator
Kontrollera hur leveransen markerar ord vars tidsstämplar sträcker sig över en sammanfogningspunkt. I samma fiktiva prov valde den testade hjälpfunktionen i faster-whisper en förskjutning för båda ändarna av ett intervall som korsade sammanfogningen och placerade dess start i det borttagna intervallet. Om din användning kräver ett sammanhängande intervall i den ursprungliga inspelningen bör ni komma överens om hur sådana fall ska flaggas och granskas innan de godkänns. Återställning av tidsstämplar i faster-whisper · Beräkning av förskjutning i faster-whisper
Tänk dig följande fiktiva exempel. Ett team vill finjustera en supportagent som rekommenderar nästa steg för en returförfrågan. En leverantör föreslår en samling supportärenden. Teamet ber om 12 exempel för granskning: sex vanliga returer och sex undantagsfall. För den här första granskningen kräver teamet att varje exempel innehåller kundens förfrågan, en länk till den policyversion som gällde och det registrerade utfallet.
| Kontroll | Krav för det här provet | Exempel på resultat |
|---|---|---|
| Kundens förfrågan | Finns i alla 12 exempel | 12 av 12 har den |
| Tillämplig policyversion | Länkad i alla 12 exempel | 10 av 12 har den; två undantagsfall saknar länken |
| Registrerat utfall | Finns i alla 12 exempel | 11 av 12 har det; ett vanligt fall saknar utfall |
Provet uppfyller inte två av teamets angivna kontroller. Nästa steg är att fråga om de saknade policylänkarna och det saknade utfallet kan tas fram och att granska ett korrigerat prov. Om det inte går kan teamet ändra sitt krav eller leta efter en annan källa. Ett registrerat utfall är inte automatiskt ett korrekt beslut: en sakkunnig bör också jämföra utfallen med den tillämpliga policyn.
Dessa antal beskriver bara de 12 utvalda fallen. De uppskattar inte felfrekvensen i hela samlingen. För att bedöma täckningen bredare bör du fråga hur datasetet är fördelat mellan relevanta scenarier och komma överens om ytterligare ett prov som väljs med en dokumenterad metod. Googles vägledning om datakvalitet och urval förklarar varför ett utvalt prov kan ge en missvisande bild av en större population.
Anta att alla 12 fall kommer från 2024, men att den erbjudna samlingen täcker 2022–2024. En granskning av en korrigerad kopia kan bekräfta att just de fallen har rättats, men den visar inte om resten av samlingen har korrigerats. Fråga vilken datasetversion och vilka poster som har korrigerats och kom sedan överens om hur ett nytt prov ska väljas från den version du tänker köpa. Om endast 2024 kan granskas får 2022–2023 förbli obedömda. Besluta då om köpet ska begränsas eller om ni ska vänta på en bredare granskning.
Om verkliga poster inte kan delas för den första granskningen kan du fråga om ett avidentifierat prov eller kontrollerad åtkomst är möjligt. Ett syntetiskt exempel kan visa formatet, men det kan inte fastställa kvaliteten eller täckningen i den faktiska samlingen.
Kom överens om hur åtkomsten ska begränsas innan du tar emot ett prov: en fråga som väljer vissa kolumner begränsar inte i sig åtkomsten till resten av den underliggande filen. En Parquet-footer kan också innehålla kolumnstatistik. Om avsändaren behöver begränsa vad som förs över gränsen kan ni överväga ett separat framställt prov med godkända fält eller en tjänst som tillämpar åtkomstkontroll på fältnivå. Granska metadata och åtkomstkontroller tillsammans med de poster som returneras.
Kontrollera hur du får använda data
Kontrollera att avtalet och underlagen stämmer med det specifika datasetet och projektet. Frågor att diskutera med leverantören och de ansvariga för juridisk granskning och inköp är bland annat:
- Vilken datasetversion omfattas och har leverantören rätt att bevilja den föreslagna användningen?
- Ingår träning, finjustering, utvärdering eller informationshämtning där det behövs? Reglerar villkoren kommersiell driftsättning och eventuella relevanta begränsningar för modeller eller utdata?
- Vem får komma åt eller behandla data, inklusive uppdragstagare och tjänsteleverantörer? Vilka villkor gäller för leverans, lagring, lagringstid och radering?
- Finns det undantag, rättigheter i tidigare led, material från tredje part eller andra begränsningar som behöver granskas? Vilka underlag finns för leverantörens uppgifter om datans ursprung och tillstånd?
Anteckna separat vad som är bekräftat och vad som fortfarande behöver granskas. En licensbeteckning eller ett datasetkort hjälper till att identifiera en angiven tillåten användning, men verifierar inte i sig de underliggande rättigheterna. En granskning av offentliga dataset med text, tal och video fann skillnader mellan licensbeskrivningar på datasetnivå och begränsningar kopplade till källinnehållet. Resultaten gäller de offentliga dataset som undersöktes, inte alla kommersiella samlingar.
Ett versionsbundet kort för det offentliga forskningsdatasetet SciFact beskriver till exempel datasetet som CC BY-NC 2.0 och länkar till en licensfil på kodförrådets master-gren, som kan ändras. I en versionsbunden ögonblicksbild av licensen beskriver kodförrådet separat CC BY 4.0 för påståenden och evidensannoteringar, ODC-By 1.0 för korpusens sammanfattningar och Apache 2.0 för koden. Dokumenten kan beskriva olika versioner, komponenter eller bearbetningar. De fastställer inte i sig villkoren för en viss fil. Koppla levererade filer och deras komponenter från tidigare led till relevant dokumentation och låt granska olösta rättighetsfrågor.
Planera utvärdering och leverans
Bestäm hur data ska levereras och godkännas: filformat, en manifest- eller versionsidentifierare, dokumentation, provkontroller och hur problem ska rättas. Om data också ska användas för att utvärdera en modell bör du hålla en separat testmängd skyddad från träning och kontrollera om dubbletter finns på båda sidor av uppdelningen. Googles vägledning om uppdelning av dataset förklarar hur dubbletter kan få ett test att framstå som starkare än det är.
Kontrollera när granskningsperioden börjar, hur du ska lämna besked, vad tystnad innebär och vilka påföljder som gäller. Till exempel ger version 1.0 av ai.markets standardlicens för AI-träning köparen sju kalenderdagar efter den första leveransen att meddela marknadsplatsen om en väsentlig avvikelse från annonsen. Enligt micro1:s huvudvillkor, uppdaterade den 12 november 2026, har micro1, som är licenstagare, 30 arbetsdagar efter att leveransen har slutförts enligt manifestet på sig att skriftligen avvisa data. En separat utlösande händelse gäller om leverantören skriftligen meddelar micro1 att återstående data inte kan levereras. Dokumenten gäller olika transaktioner och innehåller ytterligare villkor och undantag. Granska de villkor och den version som gäller för din beställning.
Ett manifest kan ange förväntade filer och kontrollsummor för den överenskomna datasetversionen. Kom överens om hur ni ska verifiera manifestets källa, jämföra fillistan med det som har levererats och undersöka filer som saknas, är oväntade eller inte stämmer. Om ett fiktivt manifest till exempel anger två filer men bara en kommer fram, gör en matchande kontrollsumma för den filen inte leveransen komplett. BagIt-specifikationen skiljer mellan fullständighet och validering av kontrollsummor för ett paketeringsformat. En matchande kontrollsumma visar att filens beräknade kontrollvärde stämmer med manifestet. Den fastställer inte i sig avsändarens identitet, korrekta etiketter, representativ täckning eller rättigheter att använda data. Granska dessa frågor separat.
När en leverantör skickar nästa version kan du läsa hur du godkänner återkommande leveranser av AI-data.
Ett genomarbetat exempel på hur du kontrollerar läckage till testmängden och saknat sammanhang finns i vår guide till utvärdering av dataset.
sapien1 hjälper team att avgränsa datakraven, identifiera möjliga källor och bedöma prover. Börja med uppgiften, de exempel du behöver och det beslut som ett prov ska ge underlag för. Dataägare som förbereder sig inför ett samtal kan använda vår guide till förberedelser för datalicensiering.