# Migrasi Delta boleh mencipta tag dan mengubah sejarah cap masa

Iceberg 1.12.0 memindahkan dua versi jadual Delta sintetik yang kosong menjadi dua snapshot dan mencipta empat tag daripada nombor versi sumber serta masa commit-info yang disimpan. Destinasi menerbitkan satu entri sejarah cap masa, untuk snapshot terakhir. Dalam migrasi kedua, dua masa commit tersimpan yang sama menghasilkan ralat tag pendua. Destinasi kekal tiada dalam katalog setempat, dan dua fail Avro yang disediakan kekal di bawah laluan gudangnya. [Fixtur](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) dan [pemerhatian](https://sapien1.com/research/iceberg-delta-clock/observations.json) menggunakan jadual setempat yang kosong dengan Delta Standalone 3.3.3 dan HadoopCatalog. [Tindakan migrasi](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## Dua snapshot dan satu entri sejarah yang diterbitkan

Ujian ini menetapkan masa fail log Delta dengan jarak dua saat. Pemilih cap masa legasi Delta menggunakan masa fail tersebut. Masa commit-info sumber yang disimpan secara berasingan berjarak satu milisaat dalam kes yang berjaya. Iceberg menggunakan nilai tersimpan itu untuk menamakan tag `delta-ts` dan turut mencipta tag `delta-version` bagi setiap versi sumber. [Jam sejarah Delta](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [Penetapan tag Iceberg](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| Carian | Hasil yang diperhatikan |
| --- | --- |
| Carian cap masa Delta pada masa fail log sumber kedua | Versi sumber 1 |
| Tag Iceberg `delta-version-0` | Snapshot terdahulu yang dipindahkan |
| Carian cap masa Iceberg pada masa fail log Delta kedua | Tiada entri sejarah yang diterbitkan dan sepadan |
| Carian cap masa Iceberg pada masa penciptaan snapshot destinasi pertama | Tiada entri sejarah yang diterbitkan dan sepadan |
| Carian cap masa Iceberg pada masa sejarah destinasi yang diterbitkan | Snapshot terakhir yang dipindahkan |

Migrasi menyediakan kedua-dua main semula dalam satu transaksi penciptaan. Pembina metadata Iceberg menapis entri snapshot utama perantaraan daripada sejarah yang diterbitkan. Snapshot terdahulu dan tag-tagnya masih tersedia. Penyelesai cap masa mencari dalam sejarah yang diterbitkan. Fixtur pertama kami menjangkakan dua entri dan terhenti pada asersi itu. Fixtur yang dibetulkan menyemak kedua-dua snapshot bertag dan sejarah yang hanya mengandungi entri terakhir secara berasingan. [Penapis entri log perantaraan](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [Penyelesai sejarah](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [Perubahan sejarah terdahulu](https://github.com/apache/iceberg/pull/5568)

## Masa tersimpan yang berulang

Dalam kes berpasangan ini, sumber masih mempunyai dua masa fail log yang tersusun, jadi kedua-dua titik had versi asal masih boleh dibaca. Dua cap masa commit-info yang disimpannya adalah sama. Main semula kedua cuba mencipta tag `delta-ts-1577836800000` yang sama lalu mencetuskan semakan rujukan pendua Iceberg sebelum transaksi penciptaan dikomit. Katalog melaporkan bahawa jadual tiada. Pemeriksaan fail yang berasingan menemukan dua fail Avro yang disediakan, berjumlah 8,641 bait. Fixtur ini menguji cap masa tersimpan legasi yang digunakan oleh tindakan tersebut. `inCommitTimestamp` dalam Delta yang lebih baharu ialah medan protokol yang berasingan. Pelaksanaan migrasi Delta Kernel yang dicadangkan sudah merangkumi logik untuk melangkau tag masa yang berulang. [Semakan rujukan pendua](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [Pengiraan nama tag Delta](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [Protokol Delta](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [Pengendalian Kernel yang dicadangkan](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

Bagi migrasi yang menyokong pengguna data sejarah, simpan versi sumber, jam pemilih sumber dan rujukan snapshot destinasi bersama-sama. Uji bacaan rujukan bernama dan cap masa secara berasingan. Kegagalan penciptaan juga memerlukan semakan katalog dan fail destinasi secara berasingan. Ujian kami mengukur laluan ini pada jadual sintetik yang kosong dan HadoopCatalog setempat. Spark SQL, kesamaan rekod, tingkah laku cubaan semula dan katalog lain belum diukur.

## Hasilkan semula

Muat turun [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) dan [pemerhatian](https://sapien1.com/research/iceberg-delta-clock/observations.json) ke dalam satu folder. Dari folder itu, gunakan JDK 17 dan Maven. Ujian yang disahkan menggunakan Liberica JDK Lite 17.0.21.0.3+5 dan Maven 3.9.16. Maven menyelesaikan versi kebergantungan yang ditetapkan ke dalam direktori sementara. Pelancar sumber Java menjalankan migrasi terhadap dua pasangan fail log yang baharu ditulis. [Goal classpath Maven](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [Pelancar sumber Java](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

Penyemak mencetak dua baris hasil ini.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

Pembacaan semula metadata mendedahkan `snapshots`, `refs` dan `snapshot-log`. Perintah terakhir menyenaraikan fail destinasi yang gagal sebelum pembersihan sementara. ID snapshot, masa penciptaan dan nama fail yang disediakan boleh berbeza antara ujian. Bandingkan pemetaan tag yang dikekalkan serta hasil katalog dan cap masa.
