Sari la conținutul principal

Meniu

Cercetare

O migrare Delta poate crea etichete și modifica istoricul temporal

Limbă: Română

Iceberg 1.12.0 a migrat două versiuni ale unui tabel Delta sintetic gol în două instantanee și a creat patru etichete pe baza numerelor versiunilor sursă și a orelor de commit-info stocate. Destinația a publicat o singură intrare în istoricul temporal, pentru instantaneul final. Într-o a doua migrare, două ore de commit stocate identice au produs o eroare de etichetă duplicată. Destinația a rămas absentă din catalogul local, iar două fișiere Avro pregătite au rămas în calea sa din warehouse. Configurarea testului și observațiile folosesc tabele locale goale cu Delta Standalone 3.3.3 și HadoopCatalog. Acțiunea de migrare

Două instantanee și o intrare publicată în istoric

Testul stabilește orele fișierelor jurnal Delta la o distanță de două secunde. Selectorul temporal vechi al Delta folosește aceste ore ale fișierelor. În cazul reușit, orele de commit-info stocate independent în sursă sunt la o milisecundă distanță. Iceberg folosește aceste valori stocate pentru a denumi etichetele delta-ts și creează și câte o etichetă delta-version pentru fiecare versiune sursă. Ceasurile istoricului Delta · Atribuirea etichetelor Iceberg

CăutareRezultat observat
Căutare temporală Delta la ora celui de-al doilea fișier jurnal sursăVersiunea sursă 1
Eticheta Iceberg delta-version-0Instantaneul migrat anterior
Căutare temporală Iceberg la ora celui de-al doilea fișier jurnal DeltaNicio intrare corespunzătoare în istoricul publicat
Căutare temporală Iceberg la ora creării primului instantaneu țintăNicio intrare corespunzătoare în istoricul publicat
Căutare temporală Iceberg la ora din istoricul publicat al destinațieiInstantaneul migrat final

Migrarea pregătește ambele reluări într-o singură tranzacție de creare. Constructorul de metadate Iceberg filtrează intrările intermediare ale instantaneului principal din istoricul publicat. Instantaneul anterior și etichetele sale rămân disponibile. Mecanismul de rezolvare temporală caută în istoricul publicat. Prima noastră configurare de test aștepta două intrări și s-a oprit la acea aserțiune. Configurarea corectată a verificat separat ambele instantanee etichetate și istoricul care conține doar intrarea finală. Filtrul intrărilor intermediare din jurnal · Mecanismul de rezolvare a istoricului · Modificare anterioară a istoricului

Ore stocate repetate

În cazul asociat, sursa are în continuare două ore ordonate ale fișierelor jurnal, astfel încât ambele limite temporale inițiale ale versiunilor pot fi citite în continuare. Cele două marcaje temporale de commit-info stocate sunt identice. A doua reluare încearcă să creeze aceeași etichetă delta-ts-1577836800000 și declanșează verificarea Iceberg pentru referințe duplicate înainte de finalizarea tranzacției de creare. Catalogul raportează că tabelul este absent. O inspecție separată a fișierelor a găsit două fișiere Avro pregătite, cu un total de 8.641 de octeți. Configurarea testului folosește marcajul temporal stocat în format vechi, utilizat de acțiune. În versiunile mai noi de Delta, inCommitTimestamp este un câmp de protocol distinct. O implementare propusă pentru migrarea Delta Kernel include deja logica de a omite etichetele temporale repetate. Verificarea referințelor duplicate · Calculul numelui etichetei Delta · Protocolul Delta · Tratarea propusă în Kernel

Pentru o migrare care deservește consumatori de date istorice, salvează împreună versiunea sursă, ceasul selectorului sursă și referința instantaneului țintă. Testează separat citirile după referință numită și cele după marcaj temporal. O creare eșuată necesită și verificări separate ale catalogului și ale fișierelor de destinație. Rulările noastre au măsurat aceste comportamente pe tabele sintetice goale și într-un HadoopCatalog local. Spark SQL, egalitatea înregistrărilor, comportamentul la reîncercare și alte cataloage nu au fost măsurate.

Reproduce

Descarcă ClockReplay.java, pom.xml și observațiile într-un singur dosar. Din acel dosar, folosește JDK 17 și Maven. Rularea verificată a folosit Liberica JDK Lite 17.0.21.0.3+5 și Maven 3.9.16. Maven rezolvă versiunile fixe ale dependențelor în directorul temporar. Lansatorul de surse Java rulează migrarea pe două perechi de fișiere jurnal scrise recent. Obiectivul Maven pentru classpath · Lansatorul de surse Java

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Instrumentul de verificare afișează aceste două linii de rezultat.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

Citirea metadatelor expune snapshots, refs și snapshot-log. Comanda finală inventariază destinația pentru care crearea a eșuat înainte de curățarea fișierelor temporare. ID-urile instantaneelor, orele de creare și numele fișierelor pregătite pot varia între rulări. Compară corespondența etichetelor păstrate și rezultatele pentru catalog și căutările temporale.