Cercetare
O migrare Delta poate crea etichete și modifica istoricul temporal
Iceberg 1.12.0 a migrat două versiuni ale unui tabel Delta sintetic gol în două instantanee și a creat patru etichete pe baza numerelor versiunilor sursă și a orelor de commit-info stocate. Destinația a publicat o singură intrare în istoricul temporal, pentru instantaneul final. Într-o a doua migrare, două ore de commit stocate identice au produs o eroare de etichetă duplicată. Destinația a rămas absentă din catalogul local, iar două fișiere Avro pregătite au rămas în calea sa din warehouse. Configurarea testului și observațiile folosesc tabele locale goale cu Delta Standalone 3.3.3 și HadoopCatalog. Acțiunea de migrare
Două instantanee și o intrare publicată în istoric
Testul stabilește orele fișierelor jurnal Delta la o distanță de două secunde. Selectorul temporal vechi al Delta folosește aceste ore ale fișierelor. În cazul reușit, orele de commit-info stocate independent în sursă sunt la o milisecundă distanță. Iceberg folosește aceste valori stocate pentru a denumi etichetele delta-ts și creează și câte o etichetă delta-version pentru fiecare versiune sursă. Ceasurile istoricului Delta · Atribuirea etichetelor Iceberg
| Căutare | Rezultat observat |
|---|---|
| Căutare temporală Delta la ora celui de-al doilea fișier jurnal sursă | Versiunea sursă 1 |
Eticheta Iceberg delta-version-0 | Instantaneul migrat anterior |
| Căutare temporală Iceberg la ora celui de-al doilea fișier jurnal Delta | Nicio intrare corespunzătoare în istoricul publicat |
| Căutare temporală Iceberg la ora creării primului instantaneu țintă | Nicio intrare corespunzătoare în istoricul publicat |
| Căutare temporală Iceberg la ora din istoricul publicat al destinației | Instantaneul migrat final |
Migrarea pregătește ambele reluări într-o singură tranzacție de creare. Constructorul de metadate Iceberg filtrează intrările intermediare ale instantaneului principal din istoricul publicat. Instantaneul anterior și etichetele sale rămân disponibile. Mecanismul de rezolvare temporală caută în istoricul publicat. Prima noastră configurare de test aștepta două intrări și s-a oprit la acea aserțiune. Configurarea corectată a verificat separat ambele instantanee etichetate și istoricul care conține doar intrarea finală. Filtrul intrărilor intermediare din jurnal · Mecanismul de rezolvare a istoricului · Modificare anterioară a istoricului
Ore stocate repetate
În cazul asociat, sursa are în continuare două ore ordonate ale fișierelor jurnal, astfel încât ambele limite temporale inițiale ale versiunilor pot fi citite în continuare. Cele două marcaje temporale de commit-info stocate sunt identice. A doua reluare încearcă să creeze aceeași etichetă delta-ts-1577836800000 și declanșează verificarea Iceberg pentru referințe duplicate înainte de finalizarea tranzacției de creare. Catalogul raportează că tabelul este absent. O inspecție separată a fișierelor a găsit două fișiere Avro pregătite, cu un total de 8.641 de octeți. Configurarea testului folosește marcajul temporal stocat în format vechi, utilizat de acțiune. În versiunile mai noi de Delta, inCommitTimestamp este un câmp de protocol distinct. O implementare propusă pentru migrarea Delta Kernel include deja logica de a omite etichetele temporale repetate. Verificarea referințelor duplicate · Calculul numelui etichetei Delta · Protocolul Delta · Tratarea propusă în Kernel
Pentru o migrare care deservește consumatori de date istorice, salvează împreună versiunea sursă, ceasul selectorului sursă și referința instantaneului țintă. Testează separat citirile după referință numită și cele după marcaj temporal. O creare eșuată necesită și verificări separate ale catalogului și ale fișierelor de destinație. Rulările noastre au măsurat aceste comportamente pe tabele sintetice goale și într-un HadoopCatalog local. Spark SQL, egalitatea înregistrărilor, comportamentul la reîncercare și alte cataloage nu au fost măsurate.
Reproduce
Descarcă ClockReplay.java, pom.xml și observațiile într-un singur dosar. Din acel dosar, folosește JDK 17 și Maven. Rularea verificată a folosit Liberica JDK Lite 17.0.21.0.3+5 și Maven 3.9.16. Maven rezolvă versiunile fixe ale dependențelor în directorul temporar. Lansatorul de surse Java rulează migrarea pe două perechi de fișiere jurnal scrise recent. Obiectivul Maven pentru classpath · Lansatorul de surse Java
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
"$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +Instrumentul de verificare afișează aceste două linii de rezultat.
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=falseCitirea metadatelor expune snapshots, refs și snapshot-log. Comanda finală inventariază destinația pentru care crearea a eșuat înainte de curățarea fișierelor temporare. ID-urile instantaneelor, orele de creare și numele fișierelor pregătite pot varia între rulări. Compară corespondența etichetelor păstrate și rezultatele pentru catalog și căutările temporale.