# En Delta-migrering kan skapa taggar och ändra tidsstämpelhistoriken

Iceberg 1.12.0 migrerade två versioner av en tom syntetisk Delta-tabell till två ögonblicksbilder och skapade fyra taggar utifrån källans versionsnummer och lagrade commit-info-tider. Målet publicerade en post i tidsstämpelhistoriken, för den sista ögonblicksbilden. I en andra migrering gav två identiska lagrade commit-tider ett fel på grund av en duplicerad tagg. Måltabellen saknades fortfarande i den lokala katalogen och två mellanlagrade Avro-filer fanns kvar under dess sökväg i lagret. [Testuppsättningen](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) och [observationerna](https://sapien1.com/research/iceberg-delta-clock/observations.json) använder tomma lokala tabeller med Delta Standalone 3.3.3 och HadoopCatalog. [Migreringsåtgärd](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## Två ögonblicksbilder och en publicerad historikpost

Testet anger tiderna för Delta-loggfilerna med två sekunders mellanrum. Deltas äldre tidsstämpelväljare använder dessa filtider. Källans separat lagrade commit-info-tider ligger en millisekund från varandra i det lyckade fallet. Iceberg använder de lagrade värdena för att namnge `delta-ts`-taggarna och skapar även en `delta-version`-tagg för varje källversion. [Tidskällor i Delta-historiken](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [Tilldelning av Iceberg-taggar](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| Uppslagning | Observerat resultat |
| --- | --- |
| Delta-tidsstämpeluppslagning vid tiden för den andra källloggfilen | Källversion 1 |
| Iceberg-taggen `delta-version-0` | Den tidigare migrerade ögonblicksbilden |
| Iceberg-tidsstämpeluppslagning vid tiden för den andra Delta-loggfilen | Ingen matchande publicerad historikpost |
| Iceberg-tidsstämpeluppslagning vid tiden då den första målögonblicksbilden skapades | Ingen matchande publicerad historikpost |
| Iceberg-tidsstämpeluppslagning vid tiden i målets publicerade historik | Den sista migrerade ögonblicksbilden |

Migreringen mellanlagrar båda uppspelningarna i en och samma skapandetransaktion. Icebergs metadatabyggare filtrerar bort mellanliggande poster för huvudögonblicksbilden från den publicerade historiken. Den tidigare ögonblicksbilden och dess taggar är fortfarande tillgängliga. Tidsstämpeluppslagningen söker i den publicerade historiken. Vår första testuppsättning förväntade sig två poster och stoppades vid den kontrollen. Den korrigerade testuppsättningen kontrollerade båda taggade ögonblicksbilderna och historiken med enbart den sista posten var för sig. [Filter för mellanliggande loggposter](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [Historikuppslagning](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [Tidigare ändring av historiken](https://github.com/apache/iceberg/pull/5568)

## Upprepade lagrade tider

I det motsvarande fallet har källan fortfarande två ordnade loggfiltider, så båda de ursprungliga versionsgränserna är fortfarande läsbara. Dess två lagrade commit-info-tidsstämplar är identiska. Den andra uppspelningen försöker skapa samma tagg, `delta-ts-1577836800000`, och träffar Icebergs kontroll av duplicerade referenser innan skapandetransaktionen genomförs. Katalogen rapporterar att tabellen saknas. En separat filgranskning hittade två mellanlagrade Avro-filer på totalt 8 641 byte. Testuppsättningen använder den äldre lagrade tidsstämpel som åtgärden använder. I nyare versioner av Delta är `inCommitTimestamp` ett separat protokollfält. En föreslagen migreringsimplementation för Delta Kernel innehåller redan logik för att hoppa över upprepade tidstaggar. [Kontroll av duplicerade referenser](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [Beräkning av Deltas taggnamn](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [Delta-protokollet](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [Föreslagen hantering i Kernel](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

För en migrering som ska betjäna konsumenter av historiska data bör du spara källversionen, tidskällan för källans väljare och referensen till målets ögonblicksbild tillsammans. Testa läsning via namngivna referenser och tidsstämplar var för sig. Om skapandet misslyckas behöver du också kontrollera katalogen och målfilerna separat. Våra körningar mätte dessa förlopp på tomma syntetiska tabeller och en lokal HadoopCatalog. Spark SQL, posternas likhet, beteende vid nya försök och andra kataloger har inte mätts.

## Återskapa

Ladda ned [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) och [observationerna](https://sapien1.com/research/iceberg-delta-clock/observations.json) till en och samma mapp. Använd JDK 17 och Maven från den mappen. Den verifierade körningen använde Liberica JDK Lite 17.0.21.0.3+5 och Maven 3.9.16. Maven löser de fastställda beroendeversionerna till den tillfälliga katalogen. Javas källkodsstartare kör migreringen mot två nyskrivna par av loggfiler. [Maven-mål för klassökväg](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [Javas källkodsstartare](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

Kontrollen skriver ut dessa två resultatrader.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

Återläsningen av metadata visar `snapshots`, `refs` och `snapshot-log`. Det sista kommandot inventerar målet för den misslyckade migreringen innan de tillfälliga filerna städas bort. Ögonblicksbilds-ID:n, skapandetider och namn på mellanlagrade filer kan variera mellan körningar. Jämför den bevarade taggkopplingen och resultaten för katalogen och tidsstämpeluppslagningarna.
