Chuyển đến nội dung chính

Menu

Nghiên cứu

Quá trình di chuyển Delta có thể tạo thẻ và thay đổi lịch sử dấu thời gian

Ngôn ngữ bài viết: Tiếng Việt

Iceberg 1.12.0 đã di chuyển hai phiên bản của một bảng Delta tổng hợp rỗng thành hai snapshot và tạo bốn thẻ từ số phiên bản nguồn và thời điểm commit-info được lưu. Bảng đích công bố một mục lịch sử dấu thời gian cho snapshot cuối cùng. Trong lần di chuyển thứ hai, hai thời điểm commit được lưu giống nhau gây ra lỗi thẻ trùng lặp. Bảng đích vẫn không có trong catalog cục bộ và hai tệp Avro đã được đưa vào vùng chờ vẫn nằm dưới đường dẫn kho dữ liệu của bảng. Fixture và các quan sát sử dụng bảng cục bộ rỗng với Delta Standalone 3.3.3 và HadoopCatalog. Thao tác di chuyển

Hai snapshot và một mục lịch sử được công bố

Thử nghiệm đặt thời gian của các tệp nhật ký Delta cách nhau hai giây. Bộ chọn dấu thời gian cũ của Delta sử dụng thời gian của các tệp này. Trong trường hợp thành công, các thời điểm commit-info được lưu độc lập của nguồn cách nhau một mili giây. Iceberg sử dụng các giá trị đã lưu đó để đặt tên thẻ delta-ts và cũng tạo một thẻ delta-version cho mỗi phiên bản nguồn. Các đồng hồ lịch sử Delta · Gán thẻ Iceberg

Tra cứuKết quả quan sát
Tra cứu dấu thời gian Delta tại thời điểm của tệp nhật ký nguồn thứ haiPhiên bản nguồn 1
Thẻ Iceberg delta-version-0Snapshot được di chuyển trước
Tra cứu dấu thời gian Iceberg tại thời điểm của tệp nhật ký Delta thứ haiKhông có mục lịch sử được công bố phù hợp
Tra cứu dấu thời gian Iceberg tại thời điểm tạo snapshot đích đầu tiênKhông có mục lịch sử được công bố phù hợp
Tra cứu dấu thời gian Iceberg tại thời điểm lịch sử được công bố của bảng đíchSnapshot được di chuyển cuối cùng

Quá trình di chuyển đưa cả hai lần chạy lại vào vùng chờ trong một giao dịch tạo. Bộ tạo siêu dữ liệu của Iceberg lọc các mục snapshot chính trung gian khỏi lịch sử được công bố. Snapshot trước đó và các thẻ của nó vẫn khả dụng. Bộ phân giải dấu thời gian tìm kiếm trong lịch sử được công bố. Fixture đầu tiên của chúng tôi kỳ vọng có hai mục và dừng ở kiểm tra xác nhận đó. Fixture đã sửa kiểm tra riêng cả hai snapshot có thẻ và lịch sử chỉ chứa snapshot cuối. Bộ lọc mục nhật ký trung gian · Bộ phân giải lịch sử · Thay đổi lịch sử trước đó

Thời điểm được lưu trùng nhau

Trong trường hợp đối chiếu, nguồn vẫn có hai thời điểm tệp nhật ký theo thứ tự, nên vẫn có thể đọc cả hai mốc giới hạn phiên bản ban đầu. Hai dấu thời gian commit-info được lưu của nguồn bằng nhau. Lần chạy lại thứ hai cố tạo cùng thẻ delta-ts-1577836800000 và gặp kiểm tra tham chiếu trùng lặp của Iceberg trước khi giao dịch tạo được commit. Catalog báo bảng không tồn tại. Một lần kiểm tra tệp riêng biệt phát hiện hai tệp Avro trong vùng chờ với tổng dung lượng 8.641 byte. Fixture kiểm tra dấu thời gian cũ được lưu mà thao tác này sử dụng. inCommitTimestamp trong các phiên bản Delta mới hơn là một trường giao thức riêng. Một phương án triển khai di chuyển bằng Delta Kernel được đề xuất đã có logic bỏ qua các thẻ thời gian trùng lặp. Kiểm tra tham chiếu trùng lặp · Cách tính tên thẻ Delta · Giao thức Delta · Cách xử lý được đề xuất trong Kernel

Với quá trình di chuyển phục vụ các hệ thống sử dụng dữ liệu lịch sử, hãy lưu phiên bản nguồn, đồng hồ dùng để chọn dữ liệu nguồn và tham chiếu snapshot đích cùng nhau. Thử nghiệm riêng việc đọc theo tham chiếu có tên và theo dấu thời gian. Khi tạo thất bại, cũng cần kiểm tra riêng catalog và các tệp đích. Các lần chạy của chúng tôi đo những trường hợp này trên bảng tổng hợp rỗng và HadoopCatalog cục bộ. Spark SQL, tính đồng nhất của bản ghi, hành vi thử lại và các catalog khác chưa được đo.

Tái hiện

Tải ClockReplay.java, pom.xml và các quan sát vào cùng một thư mục. Từ thư mục đó, sử dụng JDK 17 và Maven. Lần chạy được xác minh sử dụng Liberica JDK Lite 17.0.21.0.3+5 và Maven 3.9.16. Maven phân giải các phiên bản phụ thuộc cố định vào thư mục tạm. Trình chạy mã nguồn Java thực hiện di chuyển với hai cặp tệp nhật ký mới được ghi. Mục tiêu classpath của Maven · Trình chạy mã nguồn Java

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Trình kiểm tra in ra hai dòng kết quả sau.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

Dữ liệu siêu dữ liệu được đọc lại hiển thị snapshots, refs và snapshot-log. Lệnh cuối cùng liệt kê các tệp tại vị trí đích của lần tạo thất bại trước khi dọn dẹp dữ liệu tạm. ID snapshot, thời điểm tạo và tên tệp trong vùng chờ có thể khác nhau giữa các lần chạy. Hãy so sánh ánh xạ thẻ được giữ lại cùng kết quả kiểm tra catalog và dấu thời gian.