Gå til hovedinnholdet

Meny

Forskning

En Delta-migrering kan opprette tagger og endre tidsstempelhistorikken

Språk: Norsk bokmål

Iceberg 1.12.0 migrerte to versjoner av en tom, syntetisk Delta-tabell til to øyeblikksbilder og opprettet fire tagger basert på kildeversjonsnumrene og de lagrede commit-info-tidspunktene. Målet publiserte én oppføring i tidsstempelhistorikken, for det siste øyeblikksbildet. I en annen migrering førte to identiske lagrede commit-tidspunkter til en feil om duplikat tagg. Målet forble fraværende i den lokale katalogen, og to mellomlagrede Avro-filer ble liggende under målets warehouse-sti. Testoppsettet og observasjonene bruker tomme lokale tabeller med Delta Standalone 3.3.3 og HadoopCatalog. Migreringshandling

To øyeblikksbilder og én publisert historikkoppføring

Testen setter tidspunktene for Delta-loggfilene med to sekunders mellomrom. Deltas eldre tidsstempelvelger bruker disse filtidspunktene. Kildens uavhengig lagrede commit-info-tidspunkter har ett millisekunds mellomrom i tilfellet som lykkes. Iceberg bruker de lagrede verdiene til å navngi delta-ts-taggene og oppretter også en delta-version-tagg for hver kildeversjon. Delta-historikkens klokker · Tildeling av Iceberg-tagger

OppslagObservert resultat
Delta-tidsstempeloppslag ved tidspunktet for den andre kildeloggfilenKildeversjon 1
Iceberg-taggen delta-version-0Det tidligere migrerte øyeblikksbildet
Iceberg-tidsstempeloppslag ved tidspunktet for den andre Delta-loggfilenIngen samsvarende publisert historikkoppføring
Iceberg-tidsstempeloppslag ved opprettelsestidspunktet for det første måløyeblikksbildetIngen samsvarende publisert historikkoppføring
Iceberg-tidsstempeloppslag ved tidspunktet i målets publiserte historikkDet siste migrerte øyeblikksbildet

Migreringen mellomlagrer begge gjennomkjøringene i én opprettelsestranaksjon. Icebergs metadatabygger filtrerer mellomliggende oppføringer for hovedøyeblikksbildet fra den publiserte historikken. Det tidligere øyeblikksbildet og taggene til det er fortsatt tilgjengelige. Tidsstempeloppslaget søker i den publiserte historikken. Det første testoppsettet vårt forventet to oppføringer og stoppet på den kontrollen. Det korrigerte testoppsettet kontrollerte begge de taggede øyeblikksbildene og historikken, som bare inneholdt det siste, hver for seg. Filter for mellomliggende loggoppføringer · Historikkoppslag · Tidligere endring i historikken

Gjentatte lagrede tidspunkter

I det andre tilfellet har kilden fortsatt to kronologisk ordnede loggfiltidspunkter, så begge de opprinnelige versjonsgrensene er fortsatt lesbare. De to lagrede commit-info-tidsstemplene er like. Den andre gjennomkjøringen forsøker å opprette den samme delta-ts-1577836800000-taggen og treffer Icebergs kontroll for dupliserte referanser før opprettelsestranaksjonen fullføres. Katalogen melder at tabellen ikke finnes. En separat filinspeksjon fant to mellomlagrede Avro-filer på til sammen 8 641 byte. Testoppsettet prøver ut det eldre lagrede tidsstempelet som handlingen bruker. Nyere versjoner av Deltas inCommitTimestamp er et separat protokollfelt. En foreslått implementering av migrering med Delta Kernel inneholder allerede logikk for å hoppe over gjentatte tidstagger. Kontroll for dupliserte referanser · Beregning av Delta-taggnavnet · Delta-protokollen · Foreslått håndtering i Kernel

For en migrering som skal støtte brukere av historiske data, bør du lagre kildeversjonen, kildevelgerens klokke og målreferansen til øyeblikksbildet samlet. Test lesing via navngitte referanser og tidsstempler hver for seg. En mislykket opprettelse krever også separate kontroller av katalogen og målfilene. Kjøringene våre målte disse forløpene på tomme, syntetiske tabeller og en lokal HadoopCatalog. Spark SQL, likhet mellom poster, oppførsel ved nye forsøk og andre kataloger er ikke målt.

Gjenskap resultatet

Last ned ClockReplay.java, pom.xml og observasjonene til én mappe. Bruk JDK 17 og Maven fra denne mappen. Den verifiserte kjøringen brukte Liberica JDK Lite 17.0.21.0.3+5 og Maven 3.9.16. Maven løser de fastsatte avhengighetsversjonene til den midlertidige mappen. Java-kildekodestarteren kjører migreringen mot to nylig opprettede par med loggfiler. Maven-mål for klassesti · Java-kildekodestarter

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Kontrollprogrammet skriver ut disse to resultatlinjene.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

Tilbakelesingen av metadata viser snapshots, refs og snapshot-log. Den siste kommandoen kartlegger det mislykkede målet før den midlertidige oppryddingen. Øyeblikksbilde-ID-er, opprettelsestidspunkter og navn på mellomlagrede filer kan variere mellom kjøringer. Sammenlign den bevarte taggtilordningen og resultatene fra katalogen og tidsstempeloppslagene.