Přeskočit na hlavní obsah

Nabídka

Jak přijímat pravidelné dodávky dat pro AI

Jazyk: Čeština

Sdělte nám očekávané schéma, četnost dodávek a to, co by způsobilo nepoužitelnost dávky. Můžeme pomoci vymezit přejímací kontroly a způsob zaznamenání toho, co prošlo a co vyžaduje opravu. Popište svůj projekt společnosti sapien1

Než použijete pravidelnou dodávku datové sady, porovnejte ji s poslední verzí, kterou váš tým přijal. Zjistěte, zda nové soubory nahrazují dohodnutou sadu, nebo obsahují změny oproti určité výchozí verzi. Soubory mohou kontrolou projít, i když aktualizace vychází z nesprávné verze.

Zkontrolujte rozsah nové dodávky

Vyžádejte si identifikátor vydání, rozsah a manifest souborů. U úplné náhrady potvrďte rozsah celé sady. U sady změn ověřte požadovanou výchozí verzi a způsob, jakým dodavatel označuje přidané, aktualizované a odebrané záznamy. Záznam může v souboru změn chybět proto, že se nezměnil. Dokumentace AWS Data Exchange popisuje úplné aktualizované datové sady i revize obsahující nová data od předchozí revize. dokumentace revizí AWS Data Exchange

Porovnejte názvy souborů a jejich kontrolní součty s manifestem, na jehož použití jste se dohodli. Samostatně ověřte, že výchozí verze a změny záznamů odpovídají dohodě o dodávce. Specifikace BagIt popisuje manifesty souborů a ověřování kontrolních součtů. specifikace BagIt

Použijte aktualizaci v přípravném prostředí a zkontrolujte výsledné záznamy

V tomto fiktivním příkladu odběratel vybírá záznamy do trénovací sady z katalogového datového toku. Při kontrole vyžaduje přesnou shodu výchozí verze a aktivní cílový záznam pro každý sloučený záznam, na který trénovací sada odkazuje. Poslední přijatá verze je R12 s aktivními identifikátory A14, A27, A38 a A52. První balíček pro R13 projde kontrolou souborů. Jako výchozí verzi ale vyžaduje R11. Odběratel dál používá R12 a žádá o sadu změn vůči R12 nebo úplnou náhradu v dohodnutém rozsahu.

Dodavatel pošle opravu R13b, která uvádí R12 jako výchozí verzi. Odběratel zkontroluje nové soubory a použije změny na kopii v přípravném prostředí schváleném pro tato data.

ZáznamZměna nebo očekávaný stav v R13bCo ověřit před přijetím R13b
A14Změňte téma z returns na exchangesOvěřte původní hodnotu v R12 a novou hodnotu ve výsledku v přípravném prostředí.
A27Slučte do A38Ověřte, že A27 opustil aktivní sadu a aktuální odkazy vedou na A38.
A38Po sloučení zůstává aktivníOvěřte, že cílový záznam sloučení existuje.
A52Není v sadě změnOvěřte, že nezměněný záznam zůstává aktivní.
A65Přidejte záznamOvěřte, že se nový identifikátor objeví právě jednou.

Po aktualizaci mají být aktivní identifikátory A14, A38, A52 a A65. Pouhé sčítání řádků by výměnu identifikátorů neodhalilo, protože obě verze mají čtyři aktivní záznamy. Pokud by A38 chyběl, odběratel by pozastavil přijetí R13b a požádal dodavatele o opravu nefunkčního odkazu. Po úspěšné kontrole v tomto příkladu zaznamená přijetí R13b a pozastavení R13 kvůli neshodě výchozí verze spolu s otiskem manifestu každého balíčku.

Zachovejte použitelnost aktuálních i historických odkazů

Zjistěte, zda po odebrání záznamu zůstává platný jiný identifikátor. OpenAlex uvádí v souboru odstranění identifikátory děl, které zanikly sloučením. V samostatné mapě sloučení, sestavené podle dostupných informací, uvádí aktuální platný identifikátor pro položky, které mapa pokrývá. Pokud dohoda umožňuje uchovávat identifikátory, zaznamenejte dodaný identifikátor, identifikátor, na který aktuálně odkazuje, a verzi dodávky použitou k určení tohoto odkazu. Ověřte, že cílový identifikátor je v daném vydání aktivní. dokumentace synchronizace OpenAlex

Pokud po migraci tabulky musíte znovu sestavit dřívější trénovací sadu, zaznamenejte původní selektor, navržený odkaz v cílovém systému a časové pásmo a hodiny, na nichž se zakládá případná časová hranice. Než se na selektory spolehnete, vyzkoušejte oba v příslušných systémech. Při místním zopakování migrace prázdných tabulek Delta pomocí Iceberg 1.12.0 ve společnosti sapien1 zůstal dřívější snímek dostupný přes svou značku verze. Vyhledání podle času druhého souboru protokolu Delta nenašlo v publikované historii Iceberg odpovídající položku. studie migrace pomocí Iceberg

Zaznamenejte rozhodnutí pro příští dodávku

Zaznamenejte výchozí verzi, přijaté vydání a identifikátor nebo otisk jeho manifestu, výsledky kontroly aktivních identifikátorů, nevyřešené odkazy a rozhodnutí o přijetí nebo opravě. Zeptejte se dodavatele, co podle vaší dohody znamená signál odebrání, a dodržujte pravidla platná pro uchovávané kopie nebo identifikátory.

Pokud potřebujete pomoci s nastavením kontrol při přejímce, napište e-mail týmu sapien1 a uveďte poslední přijatou verzi, formát aktualizace a rozhodnutí, které potřebujete učinit.

Pokud dodavatele teprve vybíráte, začněte průvodcem jak nakupovat trénovací data pro AI. S vymezením úlohy a potřebných dat pomůže průvodce získávání dat.