Przejdź do treści głównej

Menu

Jak odbierać cykliczne dostawy danych do AI

Język: Polski

Przedstaw oczekiwany schemat, częstotliwość dostaw i okoliczności, które sprawiłyby, że partia nie nadawałaby się do użycia. Możemy pomóc określić zakres kontroli odbiorczych i sposób dokumentowania tego, co przeszło kontrolę lub wymaga poprawy. Opisz swój projekt zespołowi sapien1

Przed zastosowaniem cyklicznej dostawy zbioru danych porównaj ją z ostatnią wersją zaakceptowaną przez twój zespół. Sprawdź, czy nowe pliki zastępują uzgodniony zbiór, czy zawierają zmiany względem określonej wersji bazowej. Pliki mogą przejść weryfikację nawet wtedy, gdy aktualizacja wychodzi od niewłaściwej wersji.

Sprawdź zakres nowej dostawy

Poproś o identyfikator wydania, zakres dostawy i manifest plików. W przypadku wymiany potwierdź zakres kompletnego zbioru. W przypadku pakietu zmian sprawdź wymaganą wersję bazową oraz sposób oznaczania przez dostawcę nowych, zaktualizowanych i usuniętych rekordów. Rekord może nie występować w pliku zmian, ponieważ pozostaje bez zmian. AWS Data Exchange opisuje zarówno kompletne zaktualizowane zbiory danych, jak i rewizje zawierające dane dodane od poprzedniej rewizji. dokumentacja rewizji AWS Data Exchange

Porównaj nazwy plików i ich sumy kontrolne z manifestem, którego użycie uzgodniono. Następnie osobno sprawdź, czy wersja bazowa i zmiany rekordów są zgodne z warunkami dostawy. Specyfikacja BagIt opisuje manifesty plików i weryfikację sum kontrolnych. specyfikacja BagIt

Zastosuj aktualizację w środowisku testowym i sprawdź wynikowe rekordy

W tym fikcyjnym przykładzie nabywca wybiera rekordy do zbioru treningowego na podstawie strumienia danych katalogowych. Weryfikacja wymaga dokładnego dopasowania wersji bazowej i aktywnego rekordu docelowego dla każdego scalonego rekordu, do którego odwołuje się zbiór treningowy. Ostatnia zaakceptowana wersja to R12 z aktywnymi identyfikatorami A14, A27, A38 i A52. Pierwszy pakiet R13 przechodzi weryfikację plików. Wymaga jednak wersji bazowej R11. Nabywca nadal korzysta z R12 i prosi o pakiet zmian względem R12 lub o kompletny zbiór zastępczy w uzgodnionym zakresie.

Dostawca przesyła poprawkę R13b, która wskazuje R12 jako wersję bazową. Nabywca sprawdza nowe pliki i stosuje zmiany na kopii w środowisku testowym dopuszczonym do pracy z tymi danymi.

RekordZmiana lub oczekiwany stan w R13bCo sprawdzić przed akceptacją R13b
A14Zmień temat z returns na exchangesSprawdź poprzednią wartość w R12 i nową w wyniku w środowisku testowym.
A27Scal z rekordem docelowym A38Sprawdź, czy A27 zniknął ze zbioru aktywnych rekordów, a aktualne odwołania prowadzą do A38.
A38Pozostaje aktywnym rekordem po scaleniuSprawdź, czy rekord docelowy scalenia istnieje.
A52Nie występuje w pakiecie zmianSprawdź, czy niezmieniony rekord pozostaje aktywny.
A65Dodaj rekordSprawdź, czy nowy identyfikator występuje dokładnie raz.

Po aktualizacji aktywne powinny być identyfikatory A14, A38, A52 i A65. Samo zliczenie wierszy nie ujawni wymiany identyfikatorów, ponieważ obie wersje mają po cztery aktywne rekordy. Gdyby zabrakło A38, nabywca wstrzymałby przyjęcie R13b i poprosił dostawcę o naprawienie niedziałającego odwołania. Po pozytywnej weryfikacji nabywca zapisuje w tym przykładzie zaakceptowano R13b i wstrzymano R13 z powodu niezgodności wersji bazowej oraz skrót manifestu każdego pakietu.

Zadbaj o użyteczność aktualnych i historycznych odwołań

Ustal, czy po usunięciu rekordu pozostaje identyfikator, do którego można się odwołać. OpenAlex wymienia identyfikatory prac usuniętych w wyniku scalenia w pliku usunięć. Osobna mapa scaleń wskazuje, w miarę dostępności danych, aktualny identyfikator docelowy dla pozycji, które obejmuje. Jeśli umowa pozwala przechowywać identyfikatory, zapisz otrzymany identyfikator, jego aktualny odpowiednik oraz wersję dostawy używaną do ustalenia tego powiązania. Sprawdź, czy identyfikator docelowy jest aktywny w tym wydaniu. dokumentacja synchronizacji OpenAlex

Jeśli po migracji tabeli trzeba odtworzyć wcześniejszy zbiór treningowy, zapisz stary selektor, proponowane odwołanie w systemie docelowym oraz strefę czasową i zegar, na których opiera się ewentualny czas graniczny. Wypróbuj oba selektory w odpowiednich systemach, zanim na nich polegniesz. W lokalnym odtworzeniu migracji pustych tabel Delta z użyciem Iceberg 1.12.0, przeprowadzonym przez sapien1, wcześniejsza migawka pozostała dostępna przez swój znacznik wersji. Wyszukanie według czasu drugiego pliku dziennika Delta nie znalazło pasującego wpisu w opublikowanej historii Iceberg. analiza migracji do Iceberg

Zapisz decyzję na potrzeby kolejnej dostawy

Zapisz wersję bazową, otrzymane wydanie i identyfikator lub skrót jego manifestu, wyniki weryfikacji aktywnych identyfikatorów, nierozwiązane odwołania oraz decyzję o akceptacji lub korekcie. Zapytaj dostawcę, co oznacza sygnał usunięcia na gruncie waszej umowy, i przestrzegaj zasad dotyczących przechowywanych kopii lub identyfikatorów.

Jeśli potrzebujesz pomocy w ustaleniu kryteriów odbioru, napisz do sapien1. Podaj ostatnią zaakceptowaną wersję, format aktualizacji i decyzję, którą musisz podjąć.

Jeśli wciąż wybierasz dostawcę, zacznij od poradnika jak kupować dane treningowe do AI. Jeśli potrzebujesz pomocy w zdefiniowaniu zadania i wymaganych danych, zobacz pozyskiwanie danych.