Penyelidikan
Migrasi Delta boleh mencipta tag dan mengubah sejarah cap masa
Iceberg 1.12.0 memindahkan dua versi jadual Delta sintetik yang kosong menjadi dua snapshot dan mencipta empat tag daripada nombor versi sumber serta masa commit-info yang disimpan. Destinasi menerbitkan satu entri sejarah cap masa, untuk snapshot terakhir. Dalam migrasi kedua, dua masa commit tersimpan yang sama menghasilkan ralat tag pendua. Destinasi kekal tiada dalam katalog setempat, dan dua fail Avro yang disediakan kekal di bawah laluan gudangnya. Fixtur dan pemerhatian menggunakan jadual setempat yang kosong dengan Delta Standalone 3.3.3 dan HadoopCatalog. Tindakan migrasi
Dua snapshot dan satu entri sejarah yang diterbitkan
Ujian ini menetapkan masa fail log Delta dengan jarak dua saat. Pemilih cap masa legasi Delta menggunakan masa fail tersebut. Masa commit-info sumber yang disimpan secara berasingan berjarak satu milisaat dalam kes yang berjaya. Iceberg menggunakan nilai tersimpan itu untuk menamakan tag delta-ts dan turut mencipta tag delta-version bagi setiap versi sumber. Jam sejarah Delta · Penetapan tag Iceberg
| Carian | Hasil yang diperhatikan |
|---|---|
| Carian cap masa Delta pada masa fail log sumber kedua | Versi sumber 1 |
Tag Iceberg delta-version-0 | Snapshot terdahulu yang dipindahkan |
| Carian cap masa Iceberg pada masa fail log Delta kedua | Tiada entri sejarah yang diterbitkan dan sepadan |
| Carian cap masa Iceberg pada masa penciptaan snapshot destinasi pertama | Tiada entri sejarah yang diterbitkan dan sepadan |
| Carian cap masa Iceberg pada masa sejarah destinasi yang diterbitkan | Snapshot terakhir yang dipindahkan |
Migrasi menyediakan kedua-dua main semula dalam satu transaksi penciptaan. Pembina metadata Iceberg menapis entri snapshot utama perantaraan daripada sejarah yang diterbitkan. Snapshot terdahulu dan tag-tagnya masih tersedia. Penyelesai cap masa mencari dalam sejarah yang diterbitkan. Fixtur pertama kami menjangkakan dua entri dan terhenti pada asersi itu. Fixtur yang dibetulkan menyemak kedua-dua snapshot bertag dan sejarah yang hanya mengandungi entri terakhir secara berasingan. Penapis entri log perantaraan · Penyelesai sejarah · Perubahan sejarah terdahulu
Masa tersimpan yang berulang
Dalam kes berpasangan ini, sumber masih mempunyai dua masa fail log yang tersusun, jadi kedua-dua titik had versi asal masih boleh dibaca. Dua cap masa commit-info yang disimpannya adalah sama. Main semula kedua cuba mencipta tag delta-ts-1577836800000 yang sama lalu mencetuskan semakan rujukan pendua Iceberg sebelum transaksi penciptaan dikomit. Katalog melaporkan bahawa jadual tiada. Pemeriksaan fail yang berasingan menemukan dua fail Avro yang disediakan, berjumlah 8,641 bait. Fixtur ini menguji cap masa tersimpan legasi yang digunakan oleh tindakan tersebut. inCommitTimestamp dalam Delta yang lebih baharu ialah medan protokol yang berasingan. Pelaksanaan migrasi Delta Kernel yang dicadangkan sudah merangkumi logik untuk melangkau tag masa yang berulang. Semakan rujukan pendua · Pengiraan nama tag Delta · Protokol Delta · Pengendalian Kernel yang dicadangkan
Bagi migrasi yang menyokong pengguna data sejarah, simpan versi sumber, jam pemilih sumber dan rujukan snapshot destinasi bersama-sama. Uji bacaan rujukan bernama dan cap masa secara berasingan. Kegagalan penciptaan juga memerlukan semakan katalog dan fail destinasi secara berasingan. Ujian kami mengukur laluan ini pada jadual sintetik yang kosong dan HadoopCatalog setempat. Spark SQL, kesamaan rekod, tingkah laku cubaan semula dan katalog lain belum diukur.
Hasilkan semula
Muat turun ClockReplay.java, pom.xml dan pemerhatian ke dalam satu folder. Dari folder itu, gunakan JDK 17 dan Maven. Ujian yang disahkan menggunakan Liberica JDK Lite 17.0.21.0.3+5 dan Maven 3.9.16. Maven menyelesaikan versi kebergantungan yang ditetapkan ke dalam direktori sementara. Pelancar sumber Java menjalankan migrasi terhadap dua pasangan fail log yang baharu ditulis. Goal classpath Maven · Pelancar sumber Java
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
"$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +Penyemak mencetak dua baris hasil ini.
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=falsePembacaan semula metadata mendedahkan snapshots, refs dan snapshot-log. Perintah terakhir menyenaraikan fail destinasi yang gagal sebelum pembersihan sementara. ID snapshot, masa penciptaan dan nama fail yang disediakan boleh berbeza antara ujian. Bandingkan pemetaan tag yang dikekalkan serta hasil katalog dan cap masa.