Sådan godkender du løbende leverancer af AI-data
Sprog: Dansk
Del det forventede skema, leveringsfrekvensen og det, der ville gøre et batch ubrugeligt. Vi kan hjælpe med at afgrænse acceptkontroller og føre en oversigt over, hvad der er godkendt eller skal rettes. Beskriv dit projekt for sapien1
Sammenlign hver ny datasætleverance med den seneste version, dit team godkendte, før du tager den i brug. Kontrollér, om filerne erstatter den aftalte samling eller indeholder ændringer fra en bestemt udgangsversion. Filerne kan bestå kontrollen, selv om opdateringen tager udgangspunkt i den forkerte version.
Kontrollér, hvad den nye leverance dækker
Bed om leverancens versions-id, omfang og manifest. Ved en erstatningsleverance skal du kontrollere, hvad den komplette samling dækker. Ved et ændringssæt skal du kontrollere den krævede udgangsversion, og hvordan leverandøren angiver tilføjelser, opdateringer og fjernelser. En post kan mangle i en ændringsfil, fordi den er uændret. AWS Data Exchange beskriver både komplette, opdaterede datasæt og revisioner med nye data siden den foregående version. AWS Data Exchanges dokumentation om revisioner
Kontrollér filnavne og kontrolsummer mod det manifest, I har aftalt at bruge. Kontrollér derefter særskilt, at udgangsversionen og ændringerne af posterne svarer til leveringsaftalen. BagIt beskriver filmanifester og kontrol af kontrolsummer. BagIt-specifikationen
Afprøv opdateringen, og kontrollér de resulterende poster
I dette fiktive eksempel bruger en køber et katalogfeed til at udvælge poster til et træningsdatasæt. Køberens kontrol kræver den præcise udgangsversion og en aktiv målpost for hver sammenlagt post, som træningsdatasættet henviser til. Den senest godkendte version er R12 med de aktive id’er A14, A27, A38 og A52. Den første pakke til R13 består filkontrollen. Den kræver R11 som udgangsversion. Køberen fortsætter med at bruge R12 og beder om et ændringssæt fra R12 eller en komplet erstatning for det aftalte omfang.
Leverandøren sender R13b, en rettelse, der angiver R12 som udgangsversion. Køberen kontrollerer de nye filer og anvender ændringerne på en kopi i et testmiljø, der er godkendt til dataene.
| Post | Ændring eller forventet tilstand i R13b | Kontrol før godkendelse af R13b |
|---|---|---|
A14 | Skift emnet fra returns til exchanges | Kontrollér den tidligere værdi i R12 og den nye værdi i det afprøvede resultat. |
A27 | Sammenlæg med A38 | Kontrollér, at A27 fjernes fra den aktive samling, og at aktuelle referencer peger på A38. |
A38 | Forbliver den aktive, bevarede post | Kontrollér, at målposten for sammenlægningen findes. |
A52 | Er udeladt af ændringssættet | Kontrollér, at den uændrede post stadig er aktiv. |
A65 | Tilføj en post | Kontrollér, at det nye id kun optræder én gang. |
De aktive id’er skal nu være A14, A38, A52 og A65. En optælling af rækker ville overse de ændrede id’er, fordi begge versioner har fire aktive poster. Hvis A38 manglede, ville køberen sætte R13b på pause og bede leverandøren rette den brudte reference. Da kontrollen lykkes i eksemplet, registrerer køberen R13b som godkendt og R13 som sat på pause på grund af forkert udgangsversion sammen med manifestets kontrolsum for hver pakke.
Bevar brugbare aktuelle og historiske referencer
Spørg, om en fjernet post har et id, der fortsat er aktivt. OpenAlex angiver i sin slettefil id’er, der er udgået ved sammenlægning af værker. En separat sammenlægningsoversigt angiver, så vidt det er muligt, det aktuelle, bevarede id for hver post på listen. Hvis aftalen tillader, at id’er opbevares, så registrér det leverede id, hvilket id det aktuelt peger på, og hvilken leveranceversion opslaget blev foretaget i. Kontrollér, at det bevarede id er aktivt i den version. OpenAlex’ dokumentation om synkronisering
Hvis du skal genskabe et tidligere træningsdatasæt efter en tabelmigrering, så registrér det tidligere opslag, den foreslåede reference i målsystemet samt tidszonen og tidskilden for et eventuelt skæringstidspunkt. Afprøv begge opslag i de relevante systemer, før du baserer dit arbejde på dem. Da sapien1 gentog migreringen lokalt med tomme Delta-tabeller og Iceberg 1.12.0, kunne et tidligere øjebliksbillede stadig findes via sit versionsmærke. Et opslag ved tidsstemplet for den anden Delta-logfil fandt ingen matchende post i den udgivne historik i Iceberg. undersøgelsen af migrering til Iceberg
Registrér beslutningen til næste leverance
Notér udgangsversionen, den modtagne version, manifestets id eller kontrolsum, kontrollen af aktive id’er, eventuelle uløste referencer og beslutningen om godkendelse eller rettelse. Spørg leverandøren, hvad en melding om fjernelse betyder ifølge aftalen, og følg de gældende regler for kopier og id’er, du opbevarer.
Vil du have hjælp til at fastlægge godkendelseskontroller, så skriv til sapien1 med den senest godkendte version, opdateringsformatet og den beslutning, du skal træffe.
Hvis du stadig vælger leverandør, så begynd med guiden til køb af AI-træningsdata. Se guiden til at finde datakilder, hvis du vil have hjælp til at definere opgaven og de data, den kræver.