# Eine Delta-Migration kann Tags erstellen und den Zeitstempelverlauf verändern

Iceberg 1.12.0 migrierte zwei Versionen einer leeren synthetischen Delta-Tabelle in zwei Snapshots und erstellte vier Tags aus den Versionsnummern der Quelle und den gespeicherten Commit-Info-Zeitpunkten. Das Ziel veröffentlichte einen Zeitstempelverlaufseintrag für den letzten Snapshot. Bei einer zweiten Migration führten zwei gleiche gespeicherte Commit-Zeitpunkte zu einem Fehler wegen eines doppelten Tags. Das Ziel blieb im lokalen Katalog nicht vorhanden, und zwei bereitgestellte Avro-Dateien verblieben unter seinem Warehouse-Pfad. Das [Fixture](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) und die [Beobachtungen](https://sapien1.com/research/iceberg-delta-clock/observations.json) verwenden leere lokale Tabellen mit Delta Standalone 3.3.3 und HadoopCatalog. [Migrationsaktion](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## Zwei Snapshots und ein veröffentlichter Verlaufseintrag

Der Test setzt die Zeiten der Delta-Logdateien auf einen Abstand von zwei Sekunden. Der ältere Zeitstempelselektor von Delta verwendet diese Dateizeiten. Die unabhängig davon gespeicherten Commit-Info-Zeitpunkte der Quelle liegen im erfolgreichen Fall eine Millisekunde auseinander. Iceberg verwendet diese gespeicherten Werte zur Benennung der `delta-ts`-Tags und erstellt außerdem für jede Quellversion ein `delta-version`-Tag. [Zeitquellen des Delta-Verlaufs](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [Tag-Zuweisung in Iceberg](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| Abfrage | Beobachtetes Ergebnis |
| --- | --- |
| Delta-Zeitstempelabfrage zum Zeitpunkt der zweiten Quell-Logdatei | Quellversion 1 |
| Iceberg-Tag `delta-version-0` | Der frühere migrierte Snapshot |
| Iceberg-Zeitstempelabfrage zum Zeitpunkt der zweiten Delta-Logdatei | Kein passender veröffentlichter Verlaufseintrag |
| Iceberg-Zeitstempelabfrage zum Erstellungszeitpunkt des ersten Ziel-Snapshots | Kein passender veröffentlichter Verlaufseintrag |
| Iceberg-Zeitstempelabfrage zum veröffentlichten Verlaufszeitpunkt des Ziels | Der letzte migrierte Snapshot |

Die Migration führt beide Replays innerhalb einer einzigen Create-Transaktion aus. Der Metadaten-Builder von Iceberg filtert zwischenzeitliche Main-Snapshot-Einträge aus dem veröffentlichten Verlauf. Der frühere Snapshot und seine Tags bleiben verfügbar. Der Zeitstempel-Resolver durchsucht den veröffentlichten Verlauf. Unser erstes Fixture erwartete zwei Einträge und stoppte bei dieser Assertion. Das korrigierte Fixture prüfte beide getaggten Snapshots und den nur den letzten Snapshot enthaltenden Verlauf getrennt. [Filter für zwischenzeitliche Logeinträge](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [Verlaufs-Resolver](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [Frühere Verlaufsänderung](https://github.com/apache/iceberg/pull/5568)

## Wiederholte gespeicherte Zeitpunkte

Im zweiten Fall hat die Quelle weiterhin zwei zeitlich geordnete Logdateizeiten, sodass beide ursprünglichen Versionsgrenzen lesbar bleiben. Ihre beiden gespeicherten Commit-Info-Zeitstempel sind gleich. Der zweite Replay versucht, dasselbe Tag `delta-ts-1577836800000` zu erstellen, und stößt auf die Iceberg-Prüfung auf doppelte Referenzen, bevor die Create-Transaktion abgeschlossen wird. Der Katalog meldet, dass die Tabelle nicht vorhanden ist. Eine separate Dateiinspektion fand zwei bereitgestellte Avro-Dateien mit insgesamt 8.641 Byte. Das Fixture prüft den älteren gespeicherten Zeitstempel, den die Aktion verwendet. Das `inCommitTimestamp` neuerer Delta-Versionen ist ein separates Protokollfeld. Eine vorgeschlagene Migrationsimplementierung für Delta Kernel enthält bereits eine Logik, um wiederholte Zeit-Tags zu überspringen. [Prüfung auf doppelte Referenzen](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [Berechnung des Delta-Tag-Namens](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [Delta-Protokoll](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [Vorgeschlagene Behandlung im Kernel](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

Speichere bei einer Migration, die historische Daten für Anwendungen bereitstellt, die Quellversion, die Zeitquelle des Quellselektors und die Ziel-Snapshot-Referenz zusammen. Probe Lesezugriffe über benannte Referenzen und Zeitstempel getrennt. Nach einem fehlgeschlagenen Create sind außerdem getrennte Prüfungen des Katalogs und der Zieldateien nötig. Unsere Läufe haben diese Abläufe auf leeren synthetischen Tabellen und mit einem lokalen HadoopCatalog gemessen. Spark SQL, Datensatzgleichheit, Wiederholungsverhalten und andere Kataloge bleiben ungeprüft.

## Reproduzieren

Lade [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) und die [Beobachtungen](https://sapien1.com/research/iceberg-delta-clock/observations.json) in einen gemeinsamen Ordner herunter. Verwende von diesem Ordner aus JDK 17 und Maven. Der verifizierte Lauf verwendete Liberica JDK Lite 17.0.21.0.3+5 und Maven 3.9.16. Maven löst die festgelegten Abhängigkeitsversionen im temporären Verzeichnis auf. Der Java-Quellcode-Launcher führt die Migration mit zwei neu geschriebenen Logdateipaaren aus. [Maven-Classpath-Goal](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [Java-Quellcode-Launcher](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

Das Prüfprogramm gibt diese beiden Ergebniszeilen aus.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

Das Auslesen der Metadaten legt `snapshots`, `refs` und `snapshot-log` offen. Der letzte Befehl erfasst die Dateien des fehlgeschlagenen Ziels vor dem Aufräumen der temporären Dateien. Snapshot-IDs, Erstellungszeitpunkte und Namen bereitgestellter Dateien können zwischen den Läufen variieren. Vergleiche die erhaltene Tag-Zuordnung sowie die Katalog- und Zeitstempelergebnisse.
