Så godkänner du återkommande dataleveranser för AI
Språk: Svenska
Ange förväntat schema, leveransfrekvens och vad som skulle göra en leveransbatch oanvändbar. Vi kan hjälpa dig att avgränsa godkännandekontroller och dokumentera vad som har godkänts eller behöver rättas. Beskriv ditt projekt för sapien1
Innan du använder en återkommande dataleverans, jämför den med den senaste version som ditt team godkände. Kontrollera om de nya filerna ersätter den överenskomna datamängden eller innehåller ändringar från en viss utgångsversion. Filerna kan klara kontrollerna även om uppdateringen bygger på fel version.
Kontrollera vad den nya leveransen omfattar
Be om leveransens identifierare, omfattning och manifest. Bekräfta vad hela datamängden omfattar vid en ersättningsleverans. Kontrollera vilken utgångsversion som krävs för ett paket med ändringar och hur leverantören märker tillägg, uppdateringar och borttagningar. En post kan saknas i en ändringsfil för att den är oförändrad. AWS Data Exchange beskriver både kompletta uppdaterade datamängder och revisioner som innehåller nya data sedan föregående revision. Dokumentation om revisioner i AWS Data Exchange
Jämför filnamnen och kontrollsummorna med det manifest ni kommit överens om att använda. Kontrollera separat att utgångsversionen och ändringarna av posterna följer leveransavtalet. BagIt beskriver filmanifest och verifiering av kontrollsummor. BagIt-specifikationen
Tillämpa uppdateringen i en testmiljö och kontrollera resultatet
I det här fiktiva exemplet använder en köpare ett katalogflöde för att välja poster till en träningsmängd. Köparens kontroller kräver att utgångsversionen stämmer exakt och att varje sammanslagen post som träningsmängden refererar till har ett aktivt mål. Den senast godkända versionen är R12, med de aktiva identifierarna A14, A27, A38 och A52. Det första paketet för R13 klarar filkontrollerna. Det kräver R11 som utgångsversion. Köparen fortsätter att använda R12 och ber om ett paket med ändringar från R12 eller en fullständig ersättning med överenskommen omfattning.
Leverantören skickar R13b, ett korrigerat paket med R12 som utgångsversion. Köparen kontrollerar de nya filerna och tillämpar ändringarna på en kopia i en testmiljö som har godkänts för dessa data.
| Post | Ändring eller förväntat tillstånd i R13b | Kontroll före godkännande av R13b |
|---|---|---|
A14 | Ändra ämnet från returns till exchanges | Kontrollera det gamla värdet i R12 och det nya värdet i testresultatet. |
A27 | Slå samman med A38 | Kontrollera att A27 försvinner ur den aktiva mängden och att aktuella referenser pekar på A38. |
A38 | Förblir aktiv efter sammanslagningen | Kontrollera att målposten finns kvar. |
A52 | Saknas i ändringspaketet | Kontrollera att den oförändrade posten fortfarande är aktiv. |
A65 | Lägg till en post | Kontrollera att den nya identifieraren förekommer exakt en gång. |
De aktiva identifierarna ska nu vara A14, A38, A52 och A65. En räkning av raderna skulle missa att identifierarna har ändrats, eftersom båda versionerna har fyra aktiva poster. Om A38 saknades skulle köparen avvakta med att godkänna R13b och be leverantören rätta den brutna referensen. När kontrollerna har godkänts i exemplet dokumenterar köparen R13b godkänd och R13 pausad på grund av fel utgångsversion, tillsammans med manifestets hashvärde för respektive paket.
Se till att aktuella och historiska referenser går att använda
Fråga om en borttagen post har en identifierare som fortfarande gäller. OpenAlex listar i sin fil över borttagningar identifierarna för verk som utgått genom en sammanslagning. En separat kopplingstabell underhålls så långt det går och anger vilken identifierare som nu gäller för de poster som finns i tabellen. Om avtalet tillåter att identifierare sparas, dokumentera den levererade identifieraren, vad den pekar på nu och vilken leveransversion som användes för att fastställa det. Kontrollera att målet är aktivt i den versionen. Dokumentation för synkronisering med OpenAlex
Om en tidigare träningsmängd måste återskapas efter en tabellmigrering, dokumentera den ursprungliga väljaren, den föreslagna målreferensen samt tidszonen och klockan bakom en eventuell tidsgräns. Prova båda väljarna i respektive system innan du förlitar dig på dem. I ett lokalt test där sapien1 migrerade tomma Delta-tabeller med Iceberg 1.12.0 gick en tidigare ögonblicksbild fortfarande att nå via dess versionstagg. En sökning med tidpunkten för den andra Delta-loggfilen gav ingen motsvarande post i den historik som Iceberg publicerade. Studie om migrering till Iceberg
Dokumentera beslutet inför nästa leverans
Dokumentera utgångsversionen, den mottagna versionen, manifestets identifierare eller hashvärde, kontroller av aktiva identifierare, eventuella olösta referenser och beslutet att godkänna leveransen eller begära en rättelse. Fråga leverantören vad en borttagningssignal innebär enligt avtalet och följ reglerna för kopior och identifierare som du behåller.
Vill du ha hjälp med att definiera acceptanskontrollerna? Mejla sapien1 och ange den senast godkända versionen, uppdateringens format och vilket beslut du behöver fatta.
Om du fortfarande väljer leverantör kan du börja med guiden till att köpa träningsdata för AI. För hjälp att definiera uppgiften och vilka data som behövs, se guiden till att hitta datakällor.