Gå til hovedinnholdet

Meny

Slik godkjenner du løpende leveranser av AI-data

Språk: Norsk bokmål

Del forventet datastruktur, leveringsfrekvens og hva som vil gjøre en leveranse ubrukelig. Vi kan hjelpe deg med å avgrense akseptansekontroller og en oversikt over hva som er godkjent eller må korrigeres. Beskriv prosjektet ditt for sapien1

Sammenlign en ny datasettleveranse med den siste versjonen teamet godtok, før du tar den i bruk. Undersøk om filene erstatter den avtalte samlingen eller inneholder endringer fra en bestemt utgangsversjon. Filkontrollen kan være i orden selv om oppdateringen bygger på feil versjon.

Kontroller hva den nye leveransen dekker

Be om leveransens versjons-ID, omfang og manifest. Ved en erstatningsleveranse må du avklare hva det komplette datasettet dekker. Ved et endringssett må du kontrollere den påkrevde utgangsversjonen og hvordan leverandøren angir tillegg, oppdateringer og fjerning av poster. En post kan mangle i en endringsfil fordi den er uendret. AWS Data Exchange beskriver både komplette, oppdaterte datasett og revisjoner som inneholder nye data siden forrige versjon. AWS Data Exchanges dokumentasjon om revisjoner

Kontroller filnavnene og kontrollsummene mot manifestet dere har avtalt å bruke. Kontroller deretter separat at utgangsversjonen og endringene av postene stemmer med leveranseavtalen. BagIt beskriver filmanifester og verifisering av kontrollsummer. BagIt-spesifikasjonen

Prøv ut oppdateringen og kontroller postene

I dette fiktive eksemplet bruker en kjøper en katalogstrøm til å velge poster til et treningsdatasett. Kontrollene krever nøyaktig utgangsversjon og et aktivt mål for hver sammenslåtte post som treningsdatasettet viser til. Siste godkjente versjon er R12 med de aktive ID-ene A14, A27, A38 og A52. Den første pakken til R13 består filkontrollen. Den krever R11 som utgangsversjon. Kjøperen fortsetter å bruke R12 og ber om et endringssett fra R12 eller en full erstatning med avtalt omfang.

Leverandøren sender R13b, en rettelse som angir R12 som utgangsversjon. Kjøperen kontrollerer de nye filene og bruker endringene på en kopi i et testmiljø som er godkjent for dataene.

PostEndring eller forventet tilstand i R13bKontroll før godkjenning av R13b
A14Endre emnet fra returns til exchangesKontroller den gamle verdien i R12 og den nye verdien i testresultatet.
A27Slå sammen med A38Kontroller at A27 går ut av mengden aktive poster, og at gjeldende referanser peker til A38.
A38Forblir den aktive, bevarte postenKontroller at målposten for sammenslåingen finnes.
A52Er utelatt fra endringssettetKontroller at den uendrede posten fortsatt er aktiv.
A65Legg til en postKontroller at den nye ID-en forekommer én gang.

De aktive ID-ene skal nå være A14, A38, A52 og A65. Å telle rader ville oversett hvilke ID-er som er byttet ut, fordi begge versjonene har fire aktive poster. Hvis A38 manglet, ville kjøperen satt R13b på vent og bedt leverandøren rette den brutte referansen. Når kontrollene består i dette eksemplet, registrerer kjøperen R13b som godkjent og R13 som satt på vent på grunn av feil utgangsversjon, sammen med manifestets kontrollsum for hver pakke.

Ta vare på brukbare nåværende og historiske referanser

Spør om en fjernet post er erstattet av en ID som fortsatt er aktiv. I slettefilen lister OpenAlex ID-ene til forskningsarbeidene som er fjernet ved sammenslåing. En egen oversikt over sammenslåinger angir så langt det lar seg gjøre den gjeldende, bevarte ID-en for oppføringene i oversikten. Hvis avtalen tillater at du tar vare på ID-er, registrer den leverte ID-en, hvilken ID den nå viser til, og hvilken leveranseversjon du brukte for å finne den. Kontroller at den bevarte ID-en er aktiv i den versjonen. OpenAlex-dokumentasjonen om synkronisering

Hvis du må gjenskape et tidligere treningsdatasett etter en tabellmigrering, noter det opprinnelige oppslaget, den foreslåtte referansen i målsystemet og tidssonen og tidskilden for et eventuelt skjæringstidspunkt. Prøv begge oppslagene i de aktuelle systemene før du baserer deg på dem. Da sapien1 gjentok migreringen lokalt med tomme Delta-tabeller og Iceberg 1.12.0, kunne et tidligere øyeblikksbilde fortsatt hentes via versjonstaggen. Et oppslag ved tidsstempelet til den andre Delta-loggfilen fant ingen samsvarende oppføring i den publiserte historikken til Iceberg. undersøkelsen av migrering til Iceberg

Registrer beslutningen til neste leveranse

Noter utgangsversjonen, den mottatte versjonen, manifestets ID eller kontrollsum, kontrollene av aktive ID-er, eventuelle uløste referanser og beslutningen om godkjenning eller rettelse. Spør leverandøren hva en melding om at en post er fjernet betyr etter avtalen, og følg reglene som gjelder for kopier og ID-er du tar vare på.

Hvis du ønsker hjelp til å definere godkjenningskontrollene, send en e-post til sapien1 med sist godkjente versjon, oppdateringsformatet og beslutningen du skal ta.

Hvis du fortsatt velger leverandør, start med veiledningen om kjøp av treningsdata for AI. Se veiledningen om å finne datakilder for hjelp til å beskrive oppgaven og hvilke data den krever.