# การย้าย Delta อาจสร้างแท็กและเปลี่ยนประวัติการประทับเวลา

Iceberg 1.12.0 ย้ายตาราง Delta สังเคราะห์ที่ว่างเปล่าสองเวอร์ชันเป็นสองสแนปช็อต และสร้างแท็กสี่รายการจากหมายเลขเวอร์ชันต้นทางและเวลาของข้อมูลคอมมิตที่จัดเก็บไว้ ปลายทางเผยแพร่รายการประวัติการประทับเวลาเพียงรายการเดียวสำหรับสแนปช็อตสุดท้าย ในการย้ายครั้งที่สอง เวลาคอมมิตที่จัดเก็บไว้สองค่าซึ่งเท่ากันทำให้เกิดข้อผิดพลาดแท็กซ้ำ ตารางปลายทางยังไม่ปรากฏในแค็ตตาล็อกภายใน และมีไฟล์ Avro ที่จัดเตรียมไว้สองไฟล์คงอยู่ใต้พาธคลังข้อมูลของตารางนั้น [ชุดทดสอบ](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) และ[ผลที่สังเกต](https://sapien1.com/research/iceberg-delta-clock/observations.json) ใช้ตารางภายในที่ว่างเปล่าร่วมกับ Delta Standalone 3.3.3 และ HadoopCatalog [การย้ายข้อมูล](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## สองสแนปช็อตและรายการประวัติที่เผยแพร่หนึ่งรายการ

การทดสอบกำหนดเวลาไฟล์ล็อกของ Delta ให้ห่างกันสองวินาที ตัวเลือกเวลาแบบเดิมของ Delta ใช้เวลาไฟล์เหล่านั้น ส่วนเวลาของข้อมูลคอมมิตที่จัดเก็บแยกไว้ในต้นทางห่างกันหนึ่งมิลลิวินาทีในกรณีที่สำเร็จ Iceberg ใช้ค่าที่จัดเก็บไว้เหล่านี้ตั้งชื่อแท็ก `delta-ts` และสร้างแท็ก `delta-version` สำหรับแต่ละเวอร์ชันต้นทางด้วย [เวลาประวัติของ Delta](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [การกำหนดแท็กของ Iceberg](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| การค้นหา | ผลที่สังเกต |
| --- | --- |
| ค้นหา Delta ด้วยเวลาประทับ ณ เวลาไฟล์ล็อกต้นทางไฟล์ที่สอง | เวอร์ชันต้นทาง 1 |
| แท็ก Iceberg `delta-version-0` | สแนปช็อตที่ย้ายมาก่อน |
| ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาไฟล์ล็อก Delta ไฟล์ที่สอง | ไม่มีรายการประวัติที่เผยแพร่ซึ่งตรงกัน |
| ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาสร้างสแนปช็อตแรกของปลายทาง | ไม่มีรายการประวัติที่เผยแพร่ซึ่งตรงกัน |
| ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาประวัติที่ปลายทางเผยแพร่ | สแนปช็อตที่ย้ายมาสุดท้าย |

การย้ายจัดเตรียมการรันซ้ำทั้งสองครั้งไว้ในธุรกรรมสร้างรายการเดียว ตัวสร้างเมทาดาทาของ Iceberg กรองรายการสแนปช็อตหลักระหว่างทางออกจากประวัติที่เผยแพร่ สแนปช็อตก่อนหน้าและแท็กของสแนปช็อตนั้นยังคงใช้งานได้ ตัวแก้ไขเวลาประทับค้นหาจากประวัติที่เผยแพร่ ชุดทดสอบแรกของเราคาดว่าจะมีสองรายการและหยุดที่การตรวจสอบเงื่อนไขนั้น ชุดทดสอบที่แก้ไขแล้วตรวจสอบสแนปช็อตที่มีแท็กทั้งสองและประวัติที่มีเฉพาะรายการสุดท้ายแยกจากกัน [ตัวกรองรายการล็อกระหว่างทาง](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [ตัวแก้ไขประวัติ](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [การเปลี่ยนแปลงประวัติก่อนหน้า](https://github.com/apache/iceberg/pull/5568)

## เวลาที่จัดเก็บไว้ซ้ำกัน

ในกรณีเปรียบเทียบ ต้นทางยังคงมีเวลาไฟล์ล็อกสองค่าที่เรียงลำดับกัน จึงยังอ่านข้อมูลตามเวลาตัดเดิมของทั้งสองเวอร์ชันได้ เวลาประทับของข้อมูลคอมมิตที่จัดเก็บไว้ทั้งสองค่าเท่ากัน การรันซ้ำครั้งที่สองพยายามสร้างแท็ก `delta-ts-1577836800000` เดิม และถูกการตรวจสอบการอ้างอิงซ้ำของ Iceberg ขัดขวางก่อนที่ธุรกรรมสร้างจะคอมมิต แค็ตตาล็อกรายงานว่าไม่มีตารางดังกล่าว การตรวจสอบไฟล์แยกต่างหากพบไฟล์ Avro ที่จัดเตรียมไว้สองไฟล์ รวม 8,641 ไบต์ ชุดทดสอบนี้ใช้เวลาประทับแบบเดิมที่จัดเก็บไว้ซึ่งการดำเนินการนี้ใช้งาน ส่วน `inCommitTimestamp` ของ Delta รุ่นใหม่เป็นฟิลด์แยกในโปรโตคอล ข้อเสนอสำหรับการย้ายด้วย Delta Kernel มีตรรกะสำหรับข้ามแท็กเวลาที่ซ้ำกันอยู่แล้ว [การตรวจสอบการอ้างอิงซ้ำ](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [การคำนวณชื่อแท็ก Delta](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [โปรโตคอล Delta](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [แนวทางจัดการใน Kernel ที่เสนอ](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

สำหรับการย้ายที่รองรับผู้ใช้ข้อมูลย้อนหลัง ให้บันทึกเวอร์ชันต้นทาง เวลาที่ตัวเลือกต้นทางใช้ และการอ้างอิงสแนปช็อตปลายทางไว้ด้วยกัน ทดสอบการอ่านผ่านการอ้างอิงแบบมีชื่อและการอ่านด้วยเวลาประทับแยกจากกัน หากการสร้างล้มเหลว ควรตรวจสอบแค็ตตาล็อกและไฟล์ปลายทางแยกกันด้วย การรันของเราวัดเส้นทางเหล่านี้บนตารางสังเคราะห์ที่ว่างเปล่าและ HadoopCatalog ภายใน ยังไม่ได้วัด Spark SQL ความเท่ากันของระเบียน พฤติกรรมการลองซ้ำ และแค็ตตาล็อกอื่น

## ทำซ้ำ

ดาวน์โหลด [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) และ[ผลที่สังเกต](https://sapien1.com/research/iceberg-delta-clock/observations.json) ลงในโฟลเดอร์เดียวกัน จากโฟลเดอร์นั้น ให้ใช้ JDK 17 และ Maven การรันที่ตรวจสอบแล้วใช้ Liberica JDK Lite 17.0.21.0.3+5 และ Maven 3.9.16 Maven จัดหาดีเพนเดนซีตามเวอร์ชันที่กำหนดไว้ลงในไดเรกทอรีชั่วคราว ตัวเรียกใช้ซอร์ส Java รันการย้ายกับไฟล์ล็อกสองคู่ที่เขียนขึ้นใหม่ [เป้าหมาย classpath ของ Maven](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [ตัวเรียกใช้ซอร์ส Java](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

ตัวตรวจสอบแสดงผลลัพธ์สองบรรทัดดังนี้

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

การอ่านเมทาดาทากลับแสดง `snapshots`, `refs` และ `snapshot-log` คำสั่งสุดท้ายสำรวจไฟล์ของปลายทางที่สร้างไม่สำเร็จก่อนล้างข้อมูลชั่วคราว ID สแนปช็อต เวลาสร้าง และชื่อไฟล์ที่จัดเตรียมไว้อาจต่างกันในแต่ละรอบ ให้เปรียบเทียบการจับคู่แท็กที่เก็บไว้ รวมถึงผลจากแค็ตตาล็อกและการค้นหาด้วยเวลาประทับ
