Gå til hovedinnholdet

Meny

Finn data til trening og evaluering av KI

Språk på siden: Norsk bokmål

Beskriv oppgaven modellen skal løse, materialet du trenger, og hva det kan brukes til. sapien1 kan hjelpe deg med å identifisere mulige kilder og avgrense en prøve med kriterier for å avgjøre om du skal gå videre. Beskriv prosjektet ditt for sapien1

Finn data som passer oppgaven KI-systemet ditt skal løse. sapien1 hjelper deg med å beskrive behovet, finne mulige kilder og vurdere om et datasett egner seg til trening, evaluering eller informasjonsgjenfinning.

Start med atferden du vil forbedre. Det kan være å forstå et dokument, fullføre en arbeidsflyt, bruke et verktøy eller tolke en scene. Valget avgjør hvilke eksempler, hvilken kontekst og hvilke kvalitetskontroller som trengs.

Avklar hva dataene skal brukes til

Den samme samlingen kan brukes til ulike formål. Treningseksempler lærer systemet en atferd. Evalueringseksempler prøver den ut. Innhold til informasjonsgjenfinning gir systemet informasjon det kan slå opp i når det svarer på et spørsmål.

Beskriv bruken før du sammenligner kilder. Et treningseksempel for en kundestøtteagent kan koble en henvendelse med den relevante regelen og handlingen som ble utført. En evalueringsoppgave trenger også en tydelig måte å kontrollere om avgjørelsen var riktig. En samling for informasjonsgjenfinning trenger reglene selv og kontekst som viser hvilken versjon som gjelder.

Hva du bør ha med i en beskrivelse av databehovet

KravHva du bør beskrive
OppgaveHva modellen eller agenten skal gjøre, og hva den strever med nå
DekningAktuelle fagområder, språk, regioner, perioder og vanskelige tilfeller
DataformDokumenter, kode, poster, lyd, bilder, video, spor fra verktøybruk eller en kombinasjon
KontekstEtiketter, tidsstempler, relasjoner, instruksjoner eller resultater som trengs for å forstå et eksempel
Tiltenkt brukTrening, evaluering eller informasjonsgjenfinning, inkludert hvordan dataene skal nås
GodkjenningHva et nyttig utvalg skal vise før prosjektet utvides

En første beskrivelse kan inneholde åpne spørsmål. En konkret oppgave og noen representative eksempler gir vanligvis et bedre utgangspunkt enn bare et ønsket antall filer.

Vurder et utvalg før du utvider prosjektet

Å gjennomgå et utvalg kan avdekke manglende kontekst, inkonsekvente etiketter, duplikater og hull i dekningen av situasjonene du trenger. Teamet kan også prøve det foreslåtte formatet i sin egen arbeidsflyt. Se vår guide til kjøp av KI-treningsdata for et praktisk eksempel.

Registrer kilden og tillatt bruk sammen med den tekniske vurderingen. Beskrivelsen av datasettet bør gjøre innholdet og relevante begrensninger forståelige. Hugging Faces veiledning om datasettkort er en nyttig referanse for dokumentasjonen.

For å se hvordan en dataeier kan beskrive en samling og vurdere tillatelser, kan du lese hva du bør forberede før du lisensierer bedriftens data.

Hvis du eier en samling du vil diskutere, kan du beskrive dataene dine.

I et prosjekt med sapien1 fastsetter vi sammen omfanget av arbeidet, gjennomgangen av utvalget, leveransene og kriteriene for godkjenning. Neste steg kan være en målrettet innsamling, en vurdering av data du allerede har eller et sett med oppgaver til evaluering av agenter.