Ana içeriğe geç

Menü

Araştırma

Delta geçişi etiket oluşturabilir ve zaman damgası geçmişini değiştirebilir

Dil: Türkçe

Iceberg 1.12.0, boş bir sentetik Delta tablosunun iki sürümünü iki anlık görüntüye geçirdi ve kaynak sürüm numaralarıyla kaydedilmiş commit-info zamanlarından dört etiket oluşturdu. Hedefte, son anlık görüntü için bir zaman damgası geçmişi girdisi yayınlandı. İkinci bir geçişte, kaydedilmiş iki eşit commit zamanı yinelenen etiket hatasına yol açtı. Tablo yerel katalogda oluşmadı ve depo yolunun altında iki hazırlanmış Avro dosyası kaldı. Test düzeneği ve gözlemler, Delta Standalone 3.3.3 ve HadoopCatalog ile boş yerel tablolar kullanır. Geçiş işlemi

İki anlık görüntü ve yayınlanmış bir geçmiş girdisi

Test, Delta günlük dosyası zamanlarını iki saniye arayla ayarlar. Delta'nın eski zaman damgası seçicisi bu dosya zamanlarını kullanır. Kaynağın ayrı olarak kaydedilen commit-info zamanları, başarılı örnekte bir milisaniye aralıdır. Iceberg, delta-ts etiketlerini adlandırmak için bu kayıtlı değerleri kullanır ve her kaynak sürüm için bir delta-version etiketi de oluşturur. Delta geçmiş saatleri · Iceberg etiket ataması

SorguGözlenen sonuç
İkinci kaynak günlük dosyası zamanında Delta zaman damgası sorgusuKaynak sürüm 1
Iceberg delta-version-0 etiketiGeçirilen önceki anlık görüntü
İkinci Delta günlük dosyası zamanında Iceberg zaman damgası sorgusuEşleşen yayınlanmış geçmiş girdisi yok
İlk hedef anlık görüntünün oluşturulma zamanında Iceberg zaman damgası sorgusuEşleşen yayınlanmış geçmiş girdisi yok
Hedefte yayınlanan geçmiş zamanında Iceberg zaman damgası sorgusuGeçirilen son anlık görüntü

Geçiş, her iki yeniden oynatmayı tek bir oluşturma işleminde hazırlar. Iceberg'in meta veri oluşturucusu, ara ana anlık görüntü girdilerini yayınlanan geçmişten filtreler. Önceki anlık görüntü ve etiketleri kullanılabilir kalır. Zaman damgası çözümleyicisi yayınlanan geçmişte arama yapar. İlk test düzeneğimiz iki girdi bekliyordu ve bu doğrulama adımında durdu. Düzeltilen test düzeneği, etiketli iki anlık görüntüyü ve yalnızca son girdiyi içeren geçmişi ayrı ayrı kontrol etti. Ara günlük girdisi filtresi · Geçmiş çözümleyicisi · Önceki geçmiş değişikliği

Yinelenen kayıtlı zamanlar

Diğer örnekte kaynakta hâlâ sıralı iki günlük dosyası zamanı bulunur; dolayısıyla özgün sürümler için her iki zaman sınırı da okunabilir. Kaydedilmiş iki commit-info zaman damgası eşittir. İkinci yeniden oynatma aynı delta-ts-1577836800000 etiketini oluşturmaya çalışır ve oluşturma işlemi tamamlanmadan önce Iceberg'in yinelenen referans kontrolüne takılır. Katalog, tablonun bulunmadığını bildirir. Ayrı bir dosya incelemesinde, toplam 8.641 baytlık iki hazırlanmış Avro dosyası bulundu. Test düzeneği, işlemin kullandığı eski kayıtlı zaman damgasını sınar. Daha yeni Delta sürümlerindeki inCommitTimestamp ayrı bir protokol alanıdır. Önerilen bir Delta Kernel geçiş uygulaması, yinelenen zaman etiketlerini atlayan mantığı zaten içerir. Yinelenen referans kontrolü · Delta etiket adının hesaplanması · Delta protokolü · Önerilen Kernel yaklaşımı

Geçmiş verileri kullanan sistemlere hizmet veren bir geçişte kaynak sürümü, kaynak seçicinin kullandığı saati ve hedef anlık görüntü referansını birlikte kaydedin. Adlandırılmış referans ve zaman damgası okumalarını ayrı ayrı deneyin. Başarısız bir oluşturma işleminden sonra katalog ve hedef dosyalar da ayrı ayrı kontrol edilmelidir. Çalıştırmalarımızda bu yolları boş sentetik tablolarda ve yerel bir HadoopCatalog üzerinde ölçtük. Spark SQL, kayıt eşitliği, yeniden deneme davranışı ve diğer kataloglar henüz ölçülmedi.

Yeniden oluşturun

ClockReplay.java, pom.xml ve gözlemleri aynı klasöre indirin. Bu klasörde JDK 17 ve Maven kullanın. Doğrulanan çalıştırmada Liberica JDK Lite 17.0.21.0.3+5 ve Maven 3.9.16 kullanıldı. Maven, sabitlenmiş bağımlılık sürümlerini geçici dizine çözümler. Java kaynak kodu başlatıcısı, geçişi yeni yazılmış iki günlük dosyası çifti üzerinde çalıştırır. Maven classpath hedefi · Java kaynak kodu başlatıcısı

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Kontrol aracı şu iki sonuç satırını yazdırır.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

Meta verinin geri okunması snapshots, refs ve snapshot-log verilerini gösterir. Son komut, geçici dosyalar temizlenmeden önce başarısız hedefteki dosyaları listeler. Anlık görüntü kimlikleri, oluşturulma zamanları ve hazırlanan dosya adları çalıştırmalar arasında değişebilir. Korunan etiket eşlemesini, katalog ve zaman damgası sonuçlarını karşılaştırın.