Naar de hoofdinhoud

Menu

Zo accepteer je periodieke leveringen van AI-data

Taal: Nederlands

Deel het verwachte schema, de leveringsfrequentie en wat een batch onbruikbaar zou maken. We kunnen helpen acceptatiecontroles en een overzicht van wat is goedgekeurd of moet worden gecorrigeerd af te bakenen. Beschrijf je project voor sapien1

Vergelijk een periodieke datalevering vóór verwerking met de laatste versie die je team heeft geaccepteerd. Controleer of de nieuwe bestanden de afgesproken dataset vervangen of wijzigingen ten opzichte van een bepaalde versie bevatten. De bestanden kunnen alle controles doorstaan terwijl de update op de verkeerde versie is gebaseerd.

Controleer wat de nieuwe levering omvat

Vraag om de release-ID, de reikwijdte van de levering en het manifest. Bevestig bij een vervanging wat de volledige set omvat. Controleer bij een wijzigingsset welke startversie nodig is en hoe de leverancier toevoegingen, updates en verwijderingen aangeeft. Een record kan in een wijzigingsbestand ontbreken omdat het ongewijzigd is gebleven. AWS Data Exchange beschrijft zowel volledige bijgewerkte datasets als revisies met nieuwe gegevens sinds de vorige revisie. Documentatie van AWS Data Exchange over revisies

Vergelijk de bestandsnamen en controlesommen met het afgesproken manifest. Controleer afzonderlijk of de startversie en de wijzigingen in de records overeenkomen met de leveringsafspraken. BagIt beschrijft bestandsmanifesten en de verificatie van controlesommen. BagIt-specificatie

Pas de update toe in een testomgeving en controleer de resulterende records

In dit fictieve voorbeeld gebruikt een koper een catalogusfeed om records te selecteren voor een trainingsset. De controles vereisen de exacte startversie en een actief doel voor elk samengevoegd record waarnaar de trainingsset verwijst. De laatst geaccepteerde versie is R12, met de actieve ID’s A14, A27, A38 en A52. Het eerste pakket voor R13 doorstaat de bestandscontroles. Het vereist R11 als startversie. De koper blijft R12 gebruiken en vraagt om een wijzigingsset vanaf R12 of een volledige vervanging met de afgesproken reikwijdte.

De leverancier stuurt R13b, een correctie die R12 als startversie noemt. De koper controleert de nieuwe bestanden en past de wijzigingen toe op een kopie in een testomgeving die voor deze gegevens is goedgekeurd.

GegevensrecordWijziging of verwachte status in R13bControle vóór acceptatie van R13b
A14Verander het onderwerp van returns in exchangesControleer de oude waarde in R12 en de nieuwe waarde in de testomgeving.
A27Samenvoegen met A38Controleer of A27 uit de actieve set is verdwenen en of actuele verwijzingen uitkomen bij A38.
A38Blijft het actieve record na de samenvoegingControleer of het doelrecord van de samenvoeging aanwezig is.
A52Ontbreekt in de wijzigingssetControleer of het ongewijzigde record actief blijft.
A65Een record toevoegenControleer of de nieuwe ID precies één keer voorkomt.

De actieve ID’s moeten nu A14, A38, A52 en A65 zijn. Alleen rijen tellen zou de gewijzigde ID’s niet aan het licht brengen, want beide versies hebben vier actieve records. Als A38 ontbrak, zou de koper de acceptatie van R13b uitstellen en de leverancier vragen de gebroken verwijzing te herstellen. Na geslaagde controles noteert de koper R13b geaccepteerd en R13 aangehouden wegens een afwijkende startversie, met de hash van het manifest van elk pakket.

Houd actuele en historische verwijzingen bruikbaar

Vraag of een verwijderd record een ID heeft die geldig blijft. OpenAlex vermeldt in het verwijderbestand de ID’s van werken die door een samenvoeging zijn vervallen. Een afzonderlijke tabel met verwijzingen, die zo goed mogelijk wordt bijgehouden, geeft voor de opgenomen ID’s de huidige vervanger. Als je overeenkomst het bewaren van ID’s toestaat, leg dan de aangeleverde ID vast, de ID waarnaar die nu verwijst en de leveringsversie die je daarvoor hebt gebruikt. Controleer of de vervangende ID in die versie actief is. Documentatie over synchronisatie met OpenAlex

Als je na een tabelmigratie een eerdere trainingsset moet reconstrueren, leg dan de oorspronkelijke selector, de voorgestelde doelreferentie en de tijdzone en klok voor een eventuele tijdsgrens vast. Probeer beide selectors uit op de betreffende systemen voordat je erop vertrouwt. In een lokale test van sapien1 met lege Delta-tabellen en Iceberg 1.12.0 bleef een eerdere momentopname bereikbaar via de versietag. Een zoekopdracht op het tijdstip van het tweede Delta-logbestand vond geen overeenkomstige vermelding in de gepubliceerde geschiedenis van Iceberg. Onderzoek naar migratie naar Iceberg

Leg de beslissing vast voor de volgende levering

Leg de startversie, de ontvangen versie, de manifest-ID of hash, de controles van actieve ID’s, onopgeloste verwijzingen en de beslissing over acceptatie of correctie vast. Vraag de leverancier wat een verwijderingssignaal volgens je overeenkomst betekent en volg de regels voor kopieën of ID’s die je bewaart.

Wil je hulp bij het bepalen van de acceptatiecontroles? Mail sapien1 met de laatst geaccepteerde versie, het formaat van de update en de beslissing die je moet nemen.

Kies je nog een leverancier? Begin met de gids voor het kopen van AI-trainingsdata. Voor hulp bij het bepalen van de taak en de benodigde gegevens kun je terecht bij de gids voor het vinden van databronnen.