ข้ามไปยังเนื้อหาหลัก

เมนู

งานวิจัย

การย้าย Delta อาจสร้างแท็กและเปลี่ยนประวัติการประทับเวลา

ภาษาของบทความ: ไทย

Iceberg 1.12.0 ย้ายตาราง Delta สังเคราะห์ที่ว่างเปล่าสองเวอร์ชันเป็นสองสแนปช็อต และสร้างแท็กสี่รายการจากหมายเลขเวอร์ชันต้นทางและเวลาของข้อมูลคอมมิตที่จัดเก็บไว้ ปลายทางเผยแพร่รายการประวัติการประทับเวลาเพียงรายการเดียวสำหรับสแนปช็อตสุดท้าย ในการย้ายครั้งที่สอง เวลาคอมมิตที่จัดเก็บไว้สองค่าซึ่งเท่ากันทำให้เกิดข้อผิดพลาดแท็กซ้ำ ตารางปลายทางยังไม่ปรากฏในแค็ตตาล็อกภายใน และมีไฟล์ Avro ที่จัดเตรียมไว้สองไฟล์คงอยู่ใต้พาธคลังข้อมูลของตารางนั้น ชุดทดสอบ และผลที่สังเกต ใช้ตารางภายในที่ว่างเปล่าร่วมกับ Delta Standalone 3.3.3 และ HadoopCatalog การย้ายข้อมูล

สองสแนปช็อตและรายการประวัติที่เผยแพร่หนึ่งรายการ

การทดสอบกำหนดเวลาไฟล์ล็อกของ Delta ให้ห่างกันสองวินาที ตัวเลือกเวลาแบบเดิมของ Delta ใช้เวลาไฟล์เหล่านั้น ส่วนเวลาของข้อมูลคอมมิตที่จัดเก็บแยกไว้ในต้นทางห่างกันหนึ่งมิลลิวินาทีในกรณีที่สำเร็จ Iceberg ใช้ค่าที่จัดเก็บไว้เหล่านี้ตั้งชื่อแท็ก delta-ts และสร้างแท็ก delta-version สำหรับแต่ละเวอร์ชันต้นทางด้วย เวลาประวัติของ Delta · การกำหนดแท็กของ Iceberg

การค้นหาผลที่สังเกต
ค้นหา Delta ด้วยเวลาประทับ ณ เวลาไฟล์ล็อกต้นทางไฟล์ที่สองเวอร์ชันต้นทาง 1
แท็ก Iceberg delta-version-0สแนปช็อตที่ย้ายมาก่อน
ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาไฟล์ล็อก Delta ไฟล์ที่สองไม่มีรายการประวัติที่เผยแพร่ซึ่งตรงกัน
ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาสร้างสแนปช็อตแรกของปลายทางไม่มีรายการประวัติที่เผยแพร่ซึ่งตรงกัน
ค้นหา Iceberg ด้วยเวลาประทับ ณ เวลาประวัติที่ปลายทางเผยแพร่สแนปช็อตที่ย้ายมาสุดท้าย

การย้ายจัดเตรียมการรันซ้ำทั้งสองครั้งไว้ในธุรกรรมสร้างรายการเดียว ตัวสร้างเมทาดาทาของ Iceberg กรองรายการสแนปช็อตหลักระหว่างทางออกจากประวัติที่เผยแพร่ สแนปช็อตก่อนหน้าและแท็กของสแนปช็อตนั้นยังคงใช้งานได้ ตัวแก้ไขเวลาประทับค้นหาจากประวัติที่เผยแพร่ ชุดทดสอบแรกของเราคาดว่าจะมีสองรายการและหยุดที่การตรวจสอบเงื่อนไขนั้น ชุดทดสอบที่แก้ไขแล้วตรวจสอบสแนปช็อตที่มีแท็กทั้งสองและประวัติที่มีเฉพาะรายการสุดท้ายแยกจากกัน ตัวกรองรายการล็อกระหว่างทาง · ตัวแก้ไขประวัติ · การเปลี่ยนแปลงประวัติก่อนหน้า

เวลาที่จัดเก็บไว้ซ้ำกัน

ในกรณีเปรียบเทียบ ต้นทางยังคงมีเวลาไฟล์ล็อกสองค่าที่เรียงลำดับกัน จึงยังอ่านข้อมูลตามเวลาตัดเดิมของทั้งสองเวอร์ชันได้ เวลาประทับของข้อมูลคอมมิตที่จัดเก็บไว้ทั้งสองค่าเท่ากัน การรันซ้ำครั้งที่สองพยายามสร้างแท็ก delta-ts-1577836800000 เดิม และถูกการตรวจสอบการอ้างอิงซ้ำของ Iceberg ขัดขวางก่อนที่ธุรกรรมสร้างจะคอมมิต แค็ตตาล็อกรายงานว่าไม่มีตารางดังกล่าว การตรวจสอบไฟล์แยกต่างหากพบไฟล์ Avro ที่จัดเตรียมไว้สองไฟล์ รวม 8,641 ไบต์ ชุดทดสอบนี้ใช้เวลาประทับแบบเดิมที่จัดเก็บไว้ซึ่งการดำเนินการนี้ใช้งาน ส่วน inCommitTimestamp ของ Delta รุ่นใหม่เป็นฟิลด์แยกในโปรโตคอล ข้อเสนอสำหรับการย้ายด้วย Delta Kernel มีตรรกะสำหรับข้ามแท็กเวลาที่ซ้ำกันอยู่แล้ว การตรวจสอบการอ้างอิงซ้ำ · การคำนวณชื่อแท็ก Delta · โปรโตคอล Delta · แนวทางจัดการใน Kernel ที่เสนอ

สำหรับการย้ายที่รองรับผู้ใช้ข้อมูลย้อนหลัง ให้บันทึกเวอร์ชันต้นทาง เวลาที่ตัวเลือกต้นทางใช้ และการอ้างอิงสแนปช็อตปลายทางไว้ด้วยกัน ทดสอบการอ่านผ่านการอ้างอิงแบบมีชื่อและการอ่านด้วยเวลาประทับแยกจากกัน หากการสร้างล้มเหลว ควรตรวจสอบแค็ตตาล็อกและไฟล์ปลายทางแยกกันด้วย การรันของเราวัดเส้นทางเหล่านี้บนตารางสังเคราะห์ที่ว่างเปล่าและ HadoopCatalog ภายใน ยังไม่ได้วัด Spark SQL ความเท่ากันของระเบียน พฤติกรรมการลองซ้ำ และแค็ตตาล็อกอื่น

ทำซ้ำ

ดาวน์โหลด ClockReplay.java, pom.xml และผลที่สังเกต ลงในโฟลเดอร์เดียวกัน จากโฟลเดอร์นั้น ให้ใช้ JDK 17 และ Maven การรันที่ตรวจสอบแล้วใช้ Liberica JDK Lite 17.0.21.0.3+5 และ Maven 3.9.16 Maven จัดหาดีเพนเดนซีตามเวอร์ชันที่กำหนดไว้ลงในไดเรกทอรีชั่วคราว ตัวเรียกใช้ซอร์ส Java รันการย้ายกับไฟล์ล็อกสองคู่ที่เขียนขึ้นใหม่ เป้าหมาย classpath ของ Maven · ตัวเรียกใช้ซอร์ส Java

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

ตัวตรวจสอบแสดงผลลัพธ์สองบรรทัดดังนี้

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

การอ่านเมทาดาทากลับแสดง snapshots, refs และ snapshot-log คำสั่งสุดท้ายสำรวจไฟล์ของปลายทางที่สร้างไม่สำเร็จก่อนล้างข้อมูลชั่วคราว ID สแนปช็อต เวลาสร้าง และชื่อไฟล์ที่จัดเตรียมไว้อาจต่างกันในแต่ละรอบ ให้เปรียบเทียบการจับคู่แท็กที่เก็บไว้ รวมถึงผลจากแค็ตตาล็อกและการค้นหาด้วยเวลาประทับ