Vai al contenuto principale

Menu

Come accettare consegne periodiche di dati per l’IA

Lingua: Italiano

Condividi lo schema previsto, la frequenza di consegna e cosa renderebbe inutilizzabile un lotto. Possiamo aiutarti a definire le verifiche di accettazione e un registro di ciò che è stato approvato o richiede correzioni. Descrivi il tuo progetto a sapien1

Prima di applicare una consegna periodica di dati, confrontala con l’ultima versione accettata dal tuo team. Verifica se i nuovi file sostituiscono la raccolta concordata o contengono modifiche a partire da una versione specifica. I controlli sui file possono riuscire anche se l’aggiornamento parte dalla versione sbagliata.

Verifica cosa comprende la nuova consegna

Chiedi l’identificativo della consegna, il suo ambito e il suo manifesto. Se si tratta di una sostituzione, conferma l’ambito dell’insieme completo. Se si tratta di un insieme di modifiche, verifica la versione di partenza richiesta e come il fornitore segnala aggiunte, aggiornamenti e rimozioni. Un record può essere assente da un file di modifiche perché è rimasto invariato. AWS Data Exchange descrive sia insiemi di dati completi e aggiornati sia revisioni che contengono i nuovi dati aggiunti dalla revisione precedente. Documentazione sulle revisioni di AWS Data Exchange

Confronta i nomi dei file e le relative somme di controllo con il manifesto concordato. Verifica separatamente che la versione di partenza e le modifiche ai record siano conformi all’accordo di consegna. BagIt descrive i manifesti dei file e la verifica delle somme di controllo. Specifica BagIt

Applica l’aggiornamento in un ambiente di prova e verifica i record risultanti

In questo esempio fittizio, un acquirente usa un flusso di dati di catalogo per selezionare i record di un insieme di addestramento. I controlli richiedono la versione di partenza esatta e una destinazione attiva per ogni record a cui fa riferimento l’insieme di addestramento e che è stato unito a un altro. L’ultima versione accettata è R12, con gli ID attivi A14, A27, A38 e A52. Il primo pacchetto di R13 supera i controlli sui file. Richiede R11 come versione di partenza. L’acquirente continua a usare R12 e chiede un insieme di modifiche a partire da R12 o una sostituzione completa per l’ambito concordato.

Il fornitore invia R13b, una correzione che indica R12 come versione di partenza. L’acquirente verifica i nuovi file e applica le modifiche a una copia in un ambiente di prova approvato per quei dati.

Voce del datasetModifica o stato atteso in R13bControllo prima di accettare R13b
A14Cambiare l’argomento da returns a exchangesVerifica il valore precedente in R12 e quello nuovo nell’ambiente di prova.
A27Unire a A38Verifica che A27 esca dall’insieme attivo e che i riferimenti correnti rimandino a A38.
A38Rimane il record attivo dopo l’unioneVerifica che il record di destinazione sia presente.
A52Assente dall’insieme di modificheVerifica che il record invariato rimanga attivo.
A65Aggiungere un recordVerifica che il nuovo ID compaia una sola volta.

Gli ID attivi risultanti dovrebbero essere A14, A38, A52 e A65. Contare le righe non rivelerebbe la modifica degli ID, perché entrambe le versioni hanno quattro record attivi. Se mancasse A38, l’acquirente sospenderebbe l’accettazione di R13b e chiederebbe al fornitore di risolvere il riferimento non valido. Superati i controlli, l’acquirente registra R13b accettata e R13 sospesa per versione di partenza non corrispondente, insieme all’impronta del manifesto di ogni pacchetto.

Mantieni utilizzabili i riferimenti attuali e storici

Chiedi se un record rimosso ha un ID che rimane valido. OpenAlex elenca nel file delle eliminazioni gli ID delle opere rimosse a seguito di una fusione. Una tabella di corrispondenza separata, aggiornata per quanto possibile, indica l’ID che rimane valido per ogni voce che contiene. Se l’accordo consente di conservare gli identificativi, registra l’ID fornito, quello a cui rimanda attualmente e la versione della consegna usata per stabilire la corrispondenza. Verifica che l’ID di destinazione sia attivo in quella versione. Documentazione sulla sincronizzazione di OpenAlex

Se devi ricreare un insieme di addestramento precedente dopo la migrazione di una tabella, registra il selettore originale, il riferimento di destinazione proposto, il fuso orario e l’orologio di riferimento per eventuali soglie temporali. Prova entrambi i selettori sui sistemi interessati prima di farvi affidamento. Nella prova locale di sapien1 con tabelle Delta vuote e Iceberg 1.12.0, uno snapshot precedente era ancora accessibile tramite il suo tag di versione. Una ricerca all’ora del secondo file di log Delta non ha trovato alcuna voce corrispondente nella cronologia pubblicata da Iceberg. Studio sulla migrazione a Iceberg

Registra la decisione per la prossima consegna

Registra la versione di partenza, la versione ricevuta, l’identificativo o l’impronta del manifesto, le verifiche sugli ID attivi, i riferimenti irrisolti e la decisione di accettare la consegna o chiedere una correzione. Chiedi al fornitore cosa significa un segnale di rimozione ai sensi dell’accordo e rispetta le regole applicabili alle copie o agli identificativi che conservi.

Per ricevere aiuto nella definizione dei controlli di accettazione, scrivi a sapien1 indicando l’ultima versione accettata, il formato dell’aggiornamento e la decisione che devi prendere.

Se stai ancora scegliendo un fornitore, inizia da come acquistare dati di addestramento per l’IA. Per definire il compito e i dati necessari, consulta la guida alla ricerca di dati.