Vai al contenuto principale

Menu

Ricerca

Una migrazione Delta può creare tag e modificare la cronologia dei timestamp

Lingua: Italiano

Iceberg 1.12.0 ha migrato due versioni di una tabella Delta sintetica vuota in due snapshot e ha creato quattro tag a partire dai numeri di versione di origine e dai tempi commit-info memorizzati. La destinazione ha pubblicato una voce nella cronologia dei timestamp, relativa allo snapshot finale. In una seconda migrazione, due tempi di commit memorizzati identici hanno prodotto un errore per tag duplicato. La tabella di destinazione è rimasta assente dal catalogo locale e due file Avro temporanei sono rimasti nel suo percorso warehouse. Il programma di prova e le osservazioni usano tabelle locali vuote con Delta Standalone 3.3.3 e HadoopCatalog. Azione di migrazione

Due snapshot e una voce pubblicata nella cronologia

Il test imposta i tempi dei file di log Delta a due secondi di distanza. Il selettore legacy dei timestamp di Delta usa questi tempi dei file. Nel caso riuscito, i tempi commit-info memorizzati separatamente nell'origine sono a un millisecondo di distanza. Iceberg usa questi valori memorizzati per denominare i tag delta-ts e crea anche un tag delta-version per ogni versione di origine. Orologi della cronologia Delta · Assegnazione dei tag Iceberg

RicercaRisultato osservato
Ricerca per timestamp in Delta al tempo del secondo file di log di origineVersione 1 di origine
Tag Iceberg delta-version-0Lo snapshot migrato precedente
Ricerca per timestamp in Iceberg al tempo del secondo file di log DeltaNessuna voce corrispondente nella cronologia pubblicata
Ricerca per timestamp in Iceberg al tempo di creazione del primo snapshot di destinazioneNessuna voce corrispondente nella cronologia pubblicata
Ricerca per timestamp in Iceberg al tempo della cronologia pubblicata della destinazioneLo snapshot migrato finale

La migrazione prepara entrambe le riproduzioni in un'unica transazione di creazione. Il builder dei metadati di Iceberg filtra le voci intermedie dello snapshot principale dalla cronologia pubblicata. Lo snapshot precedente e i suoi tag restano disponibili. Il risolutore dei timestamp cerca nella cronologia pubblicata. Il nostro primo fixture si aspettava due voci e si è fermato su questa asserzione. Il fixture corretto ha verificato separatamente entrambi gli snapshot con tag e la cronologia contenente solo quello finale. Filtro delle voci intermedie del log · Risolutore della cronologia · Modifica precedente alla cronologia

Tempi memorizzati ripetuti

Nel caso correlato, l'origine ha ancora due tempi ordinati dei file di log, quindi entrambi i punti limite delle versioni originali restano leggibili. I suoi due timestamp commit-info memorizzati sono identici. La seconda riproduzione tenta di creare lo stesso tag delta-ts-1577836800000 e incontra il controllo di Iceberg sui riferimenti duplicati prima del commit della transazione di creazione. Il catalogo segnala che la tabella è assente. Un'ispezione separata dei file ha rilevato due file Avro temporanei per un totale di 8.641 byte. Il fixture verifica il timestamp legacy memorizzato usato dall'azione. Nelle versioni più recenti di Delta, inCommitTimestamp è un campo di protocollo distinto. Una proposta di implementazione della migrazione con Delta Kernel include già una logica per saltare i tag temporali ripetuti. Controllo dei riferimenti duplicati · Calcolo del nome del tag Delta · Protocollo Delta · Gestione proposta in Kernel

Per una migrazione che serve utenti dei dati storici, salva insieme la versione di origine, l'orologio del selettore di origine e il riferimento allo snapshot di destinazione. Prova separatamente le letture tramite riferimenti denominati e quelle per timestamp. Anche una creazione non riuscita richiede controlli separati del catalogo e dei file di destinazione. Le nostre esecuzioni hanno misurato questi percorsi su tabelle sintetiche vuote e un HadoopCatalog locale. Spark SQL, l'uguaglianza dei record, il comportamento dei nuovi tentativi e altri cataloghi non sono stati misurati.

Riproduci

Scarica ClockReplay.java, pom.xml e le osservazioni nella stessa cartella. Da quella cartella, usa JDK 17 e Maven. L'esecuzione verificata ha usato Liberica JDK Lite 17.0.21.0.3+5 e Maven 3.9.16. Maven risolve le versioni fisse delle dipendenze nella directory temporanea. Il launcher Java per codice sorgente esegue la migrazione su due coppie di file di log appena scritte. Goal Maven per il classpath · Launcher Java per codice sorgente

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Il programma di verifica stampa queste due righe di risultato.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

La rilettura dei metadati espone snapshots, refs e snapshot-log. Il comando finale elenca i file della destinazione per cui la creazione è fallita, prima della pulizia dei file temporanei. Gli ID degli snapshot, i tempi di creazione e i nomi dei file temporanei possono variare tra le esecuzioni. Confronta la mappatura dei tag conservata e i risultati delle ricerche nel catalogo e per timestamp.