Forskning
En Delta-migrering kan oprette tags og ændre historikken over tidsstempler
Iceberg 1.12.0 migrerede to versioner af en tom syntetisk Delta-tabel til to snapshots og oprettede fire tags ud fra kildeversionernes numre og gemte commit-info-tider. Målet offentliggjorde én post i tidsstempelhistorikken for det sidste snapshot. I en anden migrering førte to ens gemte commit-tider til en fejl om et dubleret tag. Målet forblev fraværende i det lokale katalog, og to klargjorte Avro-filer blev liggende under dets warehouse-sti. Testopsætningen og observationerne bruger tomme lokale tabeller med Delta Standalone 3.3.3 og HadoopCatalog. Migreringshandling
To snapshots og én offentliggjort historikpost
Testen sætter tiderne på Delta-logfilerne med to sekunders mellemrum. Deltas ældre tidsstempelvælger bruger disse filtider. Kildens uafhængigt gemte commit-info-tider ligger ét millisekund fra hinanden i det vellykkede tilfælde. Iceberg bruger de gemte værdier til at navngive delta-ts-tags og opretter også et delta-version-tag for hver kildeversion. Tidskilder i Delta-historikken · Tildeling af Iceberg-tags
| Opslag | Observeret resultat |
|---|---|
| Delta-tidsstempelopslag på tidspunktet for den anden logfil i kilden | Kildeversion 1 |
Iceberg-tagget delta-version-0 | Det tidligere migrerede snapshot |
| Iceberg-tidsstempelopslag på tidspunktet for den anden Delta-logfil | Ingen matchende post i den offentliggjorte historik |
| Iceberg-tidsstempelopslag på oprettelsestidspunktet for målets første snapshot | Ingen matchende post i den offentliggjorte historik |
| Iceberg-tidsstempelopslag på tidspunktet i målets offentliggjorte historik | Det sidst migrerede snapshot |
Migreringen klargør begge genafspilninger i én oprettelsestransaktion. Icebergs metadatabygger filtrerer mellemliggende poster for hovedsnapshots fra den offentliggjorte historik. Det tidligere snapshot og dets tags er fortsat tilgængelige. Tidsstempelresolveren søger i den offentliggjorte historik. Vores første testopsætning forventede to poster og stoppede ved den kontrol. Den rettede testopsætning kontrollerede separat begge snapshots med tags og historikken med kun det sidste snapshot. Filtrering af mellemliggende logposter · Historikresolver · Tidligere ændring af historikken
Gentagne gemte tider
I det sammenholdte tilfælde har kilden stadig to ordnede logfiltider, så begge oprindelige versionsafgrænsninger kan fortsat læses. Dens to gemte commit-info-tidsstempler er ens. Den anden genafspilning forsøger at oprette det samme delta-ts-1577836800000-tag og rammer Icebergs kontrol for dublerede referencer, før oprettelsestransaktionen committes. Kataloget rapporterer, at tabellen ikke findes. En separat filinspektion fandt to klargjorte Avro-filer på i alt 8.641 byte. Testopsætningen afprøver det ældre gemte tidsstempel, som handlingen bruger. Nyere versioner af Deltas inCommitTimestamp er et separat protokolfelt. En foreslået implementering af migrering med Delta Kernel indeholder allerede logik til at springe gentagne tidstags over. Kontrol for dublerede referencer · Beregning af Delta-taggets navn · Delta-protokollen · Foreslået håndtering i Kernel
Ved en migrering, der betjener forbrugere af historiske data, skal du gemme kildeversionen, kildevælgerens tidskilde og målets snapshotreference sammen. Afprøv læsninger med navngivne referencer og tidsstempler hver for sig. En mislykket oprettelse kræver også separate kontroller af kataloget og filerne i målet. Vores kørsler målte disse forløb på tomme syntetiske tabeller og et lokalt HadoopCatalog. Spark SQL, lighed mellem records, adfærd ved nye forsøg og andre kataloger er ikke målt.
Genskab
Download ClockReplay.java, pom.xml og observationerne til én mappe. Brug JDK 17 og Maven fra den mappe. Den verificerede kørsel brugte Liberica JDK Lite 17.0.21.0.3+5 og Maven 3.9.16. Maven henter de fastlagte versioner af afhængighederne til den midlertidige mappe. Javas kildekodestarter kører migreringen mod to nyligt skrevne par af logfiler. Mavens classpath-mål · Javas kildekodestarter
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
"$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +Kontrolprogrammet udskriver disse to resultatlinjer.
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=falseTilbagelæsningen af metadata viser snapshots, refs og snapshot-log. Den sidste kommando opgør indholdet i det mislykkede mål før den midlertidige oprydning. Snapshot-id'er, oprettelsestider og navne på klargjorte filer kan variere mellem kørsler. Sammenlign den bevarede mapping af tags samt resultaterne for katalog og tidsstempelopslag.