Gå til hovedindholdet

Menu

Sådan godkender du løbende leverancer af AI-data

Sprog: Dansk

Del det forventede skema, leveringsfrekvensen og det, der ville gøre et batch ubrugeligt. Vi kan hjælpe med at afgrænse acceptkontroller og føre en oversigt over, hvad der er godkendt eller skal rettes. Beskriv dit projekt for sapien1

Sammenlign hver ny datasætleverance med den seneste version, dit team godkendte, før du tager den i brug. Kontrollér, om filerne erstatter den aftalte samling eller indeholder ændringer fra en bestemt udgangsversion. Filerne kan bestå kontrollen, selv om opdateringen tager udgangspunkt i den forkerte version.

Kontrollér, hvad den nye leverance dækker

Bed om leverancens versions-id, omfang og manifest. Ved en erstatningsleverance skal du kontrollere, hvad den komplette samling dækker. Ved et ændringssæt skal du kontrollere den krævede udgangsversion, og hvordan leverandøren angiver tilføjelser, opdateringer og fjernelser. En post kan mangle i en ændringsfil, fordi den er uændret. AWS Data Exchange beskriver både komplette, opdaterede datasæt og revisioner med nye data siden den foregående version. AWS Data Exchanges dokumentation om revisioner

Kontrollér filnavne og kontrolsummer mod det manifest, I har aftalt at bruge. Kontrollér derefter særskilt, at udgangsversionen og ændringerne af posterne svarer til leveringsaftalen. BagIt beskriver filmanifester og kontrol af kontrolsummer. BagIt-specifikationen

Afprøv opdateringen, og kontrollér de resulterende poster

I dette fiktive eksempel bruger en køber et katalogfeed til at udvælge poster til et træningsdatasæt. Køberens kontrol kræver den præcise udgangsversion og en aktiv målpost for hver sammenlagt post, som træningsdatasættet henviser til. Den senest godkendte version er R12 med de aktive id’er A14, A27, A38 og A52. Den første pakke til R13 består filkontrollen. Den kræver R11 som udgangsversion. Køberen fortsætter med at bruge R12 og beder om et ændringssæt fra R12 eller en komplet erstatning for det aftalte omfang.

Leverandøren sender R13b, en rettelse, der angiver R12 som udgangsversion. Køberen kontrollerer de nye filer og anvender ændringerne på en kopi i et testmiljø, der er godkendt til dataene.

PostÆndring eller forventet tilstand i R13bKontrol før godkendelse af R13b
A14Skift emnet fra returns til exchangesKontrollér den tidligere værdi i R12 og den nye værdi i det afprøvede resultat.
A27Sammenlæg med A38Kontrollér, at A27 fjernes fra den aktive samling, og at aktuelle referencer peger på A38.
A38Forbliver den aktive, bevarede postKontrollér, at målposten for sammenlægningen findes.
A52Er udeladt af ændringssættetKontrollér, at den uændrede post stadig er aktiv.
A65Tilføj en postKontrollér, at det nye id kun optræder én gang.

De aktive id’er skal nu være A14, A38, A52 og A65. En optælling af rækker ville overse de ændrede id’er, fordi begge versioner har fire aktive poster. Hvis A38 manglede, ville køberen sætte R13b på pause og bede leverandøren rette den brudte reference. Da kontrollen lykkes i eksemplet, registrerer køberen R13b som godkendt og R13 som sat på pause på grund af forkert udgangsversion sammen med manifestets kontrolsum for hver pakke.

Bevar brugbare aktuelle og historiske referencer

Spørg, om en fjernet post har et id, der fortsat er aktivt. OpenAlex angiver i sin slettefil id’er, der er udgået ved sammenlægning af værker. En separat sammenlægningsoversigt angiver, så vidt det er muligt, det aktuelle, bevarede id for hver post på listen. Hvis aftalen tillader, at id’er opbevares, så registrér det leverede id, hvilket id det aktuelt peger på, og hvilken leveranceversion opslaget blev foretaget i. Kontrollér, at det bevarede id er aktivt i den version. OpenAlex’ dokumentation om synkronisering

Hvis du skal genskabe et tidligere træningsdatasæt efter en tabelmigrering, så registrér det tidligere opslag, den foreslåede reference i målsystemet samt tidszonen og tidskilden for et eventuelt skæringstidspunkt. Afprøv begge opslag i de relevante systemer, før du baserer dit arbejde på dem. Da sapien1 gentog migreringen lokalt med tomme Delta-tabeller og Iceberg 1.12.0, kunne et tidligere øjebliksbillede stadig findes via sit versionsmærke. Et opslag ved tidsstemplet for den anden Delta-logfil fandt ingen matchende post i den udgivne historik i Iceberg. undersøgelsen af migrering til Iceberg

Registrér beslutningen til næste leverance

Notér udgangsversionen, den modtagne version, manifestets id eller kontrolsum, kontrollen af aktive id’er, eventuelle uløste referencer og beslutningen om godkendelse eller rettelse. Spørg leverandøren, hvad en melding om fjernelse betyder ifølge aftalen, og følg de gældende regler for kopier og id’er, du opbevarer.

Vil du have hjælp til at fastlægge godkendelseskontroller, så skriv til sapien1 med den senest godkendte version, opdateringsformatet og den beslutning, du skal træffe.

Hvis du stadig vælger leverandør, så begynd med guiden til køb af AI-træningsdata. Se guiden til at finde datakilder, hvis du vil have hjælp til at definere opgaven og de data, den kræver.