# En Delta-migrering kan opprette tagger og endre tidsstempelhistorikken

Iceberg 1.12.0 migrerte to versjoner av en tom, syntetisk Delta-tabell til to øyeblikksbilder og opprettet fire tagger basert på kildeversjonsnumrene og de lagrede commit-info-tidspunktene. Målet publiserte én oppføring i tidsstempelhistorikken, for det siste øyeblikksbildet. I en annen migrering førte to identiske lagrede commit-tidspunkter til en feil om duplikat tagg. Målet forble fraværende i den lokale katalogen, og to mellomlagrede Avro-filer ble liggende under målets warehouse-sti. [Testoppsettet](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) og [observasjonene](https://sapien1.com/research/iceberg-delta-clock/observations.json) bruker tomme lokale tabeller med Delta Standalone 3.3.3 og HadoopCatalog. [Migreringshandling](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## To øyeblikksbilder og én publisert historikkoppføring

Testen setter tidspunktene for Delta-loggfilene med to sekunders mellomrom. Deltas eldre tidsstempelvelger bruker disse filtidspunktene. Kildens uavhengig lagrede commit-info-tidspunkter har ett millisekunds mellomrom i tilfellet som lykkes. Iceberg bruker de lagrede verdiene til å navngi `delta-ts`-taggene og oppretter også en `delta-version`-tagg for hver kildeversjon. [Delta-historikkens klokker](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [Tildeling av Iceberg-tagger](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| Oppslag | Observert resultat |
| --- | --- |
| Delta-tidsstempeloppslag ved tidspunktet for den andre kildeloggfilen | Kildeversjon 1 |
| Iceberg-taggen `delta-version-0` | Det tidligere migrerte øyeblikksbildet |
| Iceberg-tidsstempeloppslag ved tidspunktet for den andre Delta-loggfilen | Ingen samsvarende publisert historikkoppføring |
| Iceberg-tidsstempeloppslag ved opprettelsestidspunktet for det første måløyeblikksbildet | Ingen samsvarende publisert historikkoppføring |
| Iceberg-tidsstempeloppslag ved tidspunktet i målets publiserte historikk | Det siste migrerte øyeblikksbildet |

Migreringen mellomlagrer begge gjennomkjøringene i én opprettelsestranaksjon. Icebergs metadatabygger filtrerer mellomliggende oppføringer for hovedøyeblikksbildet fra den publiserte historikken. Det tidligere øyeblikksbildet og taggene til det er fortsatt tilgjengelige. Tidsstempeloppslaget søker i den publiserte historikken. Det første testoppsettet vårt forventet to oppføringer og stoppet på den kontrollen. Det korrigerte testoppsettet kontrollerte begge de taggede øyeblikksbildene og historikken, som bare inneholdt det siste, hver for seg. [Filter for mellomliggende loggoppføringer](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [Historikkoppslag](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [Tidligere endring i historikken](https://github.com/apache/iceberg/pull/5568)

## Gjentatte lagrede tidspunkter

I det andre tilfellet har kilden fortsatt to kronologisk ordnede loggfiltidspunkter, så begge de opprinnelige versjonsgrensene er fortsatt lesbare. De to lagrede commit-info-tidsstemplene er like. Den andre gjennomkjøringen forsøker å opprette den samme `delta-ts-1577836800000`-taggen og treffer Icebergs kontroll for dupliserte referanser før opprettelsestranaksjonen fullføres. Katalogen melder at tabellen ikke finnes. En separat filinspeksjon fant to mellomlagrede Avro-filer på til sammen 8 641 byte. Testoppsettet prøver ut det eldre lagrede tidsstempelet som handlingen bruker. Nyere versjoner av Deltas `inCommitTimestamp` er et separat protokollfelt. En foreslått implementering av migrering med Delta Kernel inneholder allerede logikk for å hoppe over gjentatte tidstagger. [Kontroll for dupliserte referanser](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [Beregning av Delta-taggnavnet](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [Delta-protokollen](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [Foreslått håndtering i Kernel](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

For en migrering som skal støtte brukere av historiske data, bør du lagre kildeversjonen, kildevelgerens klokke og målreferansen til øyeblikksbildet samlet. Test lesing via navngitte referanser og tidsstempler hver for seg. En mislykket opprettelse krever også separate kontroller av katalogen og målfilene. Kjøringene våre målte disse forløpene på tomme, syntetiske tabeller og en lokal HadoopCatalog. Spark SQL, likhet mellom poster, oppførsel ved nye forsøk og andre kataloger er ikke målt.

## Gjenskap resultatet

Last ned [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) og [observasjonene](https://sapien1.com/research/iceberg-delta-clock/observations.json) til én mappe. Bruk JDK 17 og Maven fra denne mappen. Den verifiserte kjøringen brukte Liberica JDK Lite 17.0.21.0.3+5 og Maven 3.9.16. Maven løser de fastsatte avhengighetsversjonene til den midlertidige mappen. Java-kildekodestarteren kjører migreringen mot to nylig opprettede par med loggfiler. [Maven-mål for klassesti](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [Java-kildekodestarter](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

Kontrollprogrammet skriver ut disse to resultatlinjene.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

Tilbakelesingen av metadata viser `snapshots`, `refs` og `snapshot-log`. Den siste kommandoen kartlegger det mislykkede målet før den midlertidige oppryddingen. Øyeblikksbilde-ID-er, opprettelsestidspunkter og navn på mellomlagrede filer kan variere mellom kjøringer. Sammenlign den bevarte taggtilordningen og resultatene fra katalogen og tidsstempeloppslagene.
