Jak přijímat pravidelné dodávky dat pro AI
Jazyk: Čeština
Sdělte nám očekávané schéma, četnost dodávek a to, co by způsobilo nepoužitelnost dávky. Můžeme pomoci vymezit přejímací kontroly a způsob zaznamenání toho, co prošlo a co vyžaduje opravu. Popište svůj projekt společnosti sapien1
Než použijete pravidelnou dodávku datové sady, porovnejte ji s poslední verzí, kterou váš tým přijal. Zjistěte, zda nové soubory nahrazují dohodnutou sadu, nebo obsahují změny oproti určité výchozí verzi. Soubory mohou kontrolou projít, i když aktualizace vychází z nesprávné verze.
Zkontrolujte rozsah nové dodávky
Vyžádejte si identifikátor vydání, rozsah a manifest souborů. U úplné náhrady potvrďte rozsah celé sady. U sady změn ověřte požadovanou výchozí verzi a způsob, jakým dodavatel označuje přidané, aktualizované a odebrané záznamy. Záznam může v souboru změn chybět proto, že se nezměnil. Dokumentace AWS Data Exchange popisuje úplné aktualizované datové sady i revize obsahující nová data od předchozí revize. dokumentace revizí AWS Data Exchange
Porovnejte názvy souborů a jejich kontrolní součty s manifestem, na jehož použití jste se dohodli. Samostatně ověřte, že výchozí verze a změny záznamů odpovídají dohodě o dodávce. Specifikace BagIt popisuje manifesty souborů a ověřování kontrolních součtů. specifikace BagIt
Použijte aktualizaci v přípravném prostředí a zkontrolujte výsledné záznamy
V tomto fiktivním příkladu odběratel vybírá záznamy do trénovací sady z katalogového datového toku. Při kontrole vyžaduje přesnou shodu výchozí verze a aktivní cílový záznam pro každý sloučený záznam, na který trénovací sada odkazuje. Poslední přijatá verze je R12 s aktivními identifikátory A14, A27, A38 a A52. První balíček pro R13 projde kontrolou souborů. Jako výchozí verzi ale vyžaduje R11. Odběratel dál používá R12 a žádá o sadu změn vůči R12 nebo úplnou náhradu v dohodnutém rozsahu.
Dodavatel pošle opravu R13b, která uvádí R12 jako výchozí verzi. Odběratel zkontroluje nové soubory a použije změny na kopii v přípravném prostředí schváleném pro tato data.
| Záznam | Změna nebo očekávaný stav v R13b | Co ověřit před přijetím R13b |
|---|---|---|
A14 | Změňte téma z returns na exchanges | Ověřte původní hodnotu v R12 a novou hodnotu ve výsledku v přípravném prostředí. |
A27 | Slučte do A38 | Ověřte, že A27 opustil aktivní sadu a aktuální odkazy vedou na A38. |
A38 | Po sloučení zůstává aktivní | Ověřte, že cílový záznam sloučení existuje. |
A52 | Není v sadě změn | Ověřte, že nezměněný záznam zůstává aktivní. |
A65 | Přidejte záznam | Ověřte, že se nový identifikátor objeví právě jednou. |
Po aktualizaci mají být aktivní identifikátory A14, A38, A52 a A65. Pouhé sčítání řádků by výměnu identifikátorů neodhalilo, protože obě verze mají čtyři aktivní záznamy. Pokud by A38 chyběl, odběratel by pozastavil přijetí R13b a požádal dodavatele o opravu nefunkčního odkazu. Po úspěšné kontrole v tomto příkladu zaznamená přijetí R13b a pozastavení R13 kvůli neshodě výchozí verze spolu s otiskem manifestu každého balíčku.
Zachovejte použitelnost aktuálních i historických odkazů
Zjistěte, zda po odebrání záznamu zůstává platný jiný identifikátor. OpenAlex uvádí v souboru odstranění identifikátory děl, které zanikly sloučením. V samostatné mapě sloučení, sestavené podle dostupných informací, uvádí aktuální platný identifikátor pro položky, které mapa pokrývá. Pokud dohoda umožňuje uchovávat identifikátory, zaznamenejte dodaný identifikátor, identifikátor, na který aktuálně odkazuje, a verzi dodávky použitou k určení tohoto odkazu. Ověřte, že cílový identifikátor je v daném vydání aktivní. dokumentace synchronizace OpenAlex
Pokud po migraci tabulky musíte znovu sestavit dřívější trénovací sadu, zaznamenejte původní selektor, navržený odkaz v cílovém systému a časové pásmo a hodiny, na nichž se zakládá případná časová hranice. Než se na selektory spolehnete, vyzkoušejte oba v příslušných systémech. Při místním zopakování migrace prázdných tabulek Delta pomocí Iceberg 1.12.0 ve společnosti sapien1 zůstal dřívější snímek dostupný přes svou značku verze. Vyhledání podle času druhého souboru protokolu Delta nenašlo v publikované historii Iceberg odpovídající položku. studie migrace pomocí Iceberg
Zaznamenejte rozhodnutí pro příští dodávku
Zaznamenejte výchozí verzi, přijaté vydání a identifikátor nebo otisk jeho manifestu, výsledky kontroly aktivních identifikátorů, nevyřešené odkazy a rozhodnutí o přijetí nebo opravě. Zeptejte se dodavatele, co podle vaší dohody znamená signál odebrání, a dodržujte pravidla platná pro uchovávané kopie nebo identifikátory.
Pokud potřebujete pomoci s nastavením kontrol při přejímce, napište e-mail týmu sapien1 a uveďte poslední přijatou verzi, formát aktualizace a rozhodnutí, které potřebujete učinit.
Pokud dodavatele teprve vybíráte, začněte průvodcem jak nakupovat trénovací data pro AI. S vymezením úlohy a potřebných dat pomůže průvodce získávání dat.