शोध
Delta माइग्रेशन टैग बना सकता है और टाइमस्टैम्प इतिहास बदल सकता है
Iceberg 1.12.0 ने एक खाली सिंथेटिक Delta टेबल के दो वर्शन को दो स्नैपशॉट में माइग्रेट किया और स्रोत वर्शन नंबरों तथा संग्रहीत commit-info समयों से चार टैग बनाए. डेस्टिनेशन ने अंतिम स्नैपशॉट के लिए एक टाइमस्टैम्प-इतिहास एंट्री प्रकाशित की. दूसरे माइग्रेशन में, दो समान संग्रहीत कमिट समयों के कारण डुप्लिकेट टैग त्रुटि हुई. लोकल कैटलॉग में डेस्टिनेशन अनुपस्थित रहा और उसके वेयरहाउस पाथ के नीचे दो स्टेज की गई Avro फ़ाइलें बचीं. फ़िक्सचर और अवलोकनों में Delta Standalone 3.3.3 और HadoopCatalog के साथ खाली लोकल टेबल का उपयोग किया गया है. माइग्रेशन एक्शन
दो स्नैपशॉट और एक प्रकाशित इतिहास एंट्री
टेस्ट में Delta लॉग फ़ाइलों के समय दो सेकंड के अंतर पर सेट किए गए हैं. Delta का लीगेसी टाइमस्टैम्प सेलेक्टर उन्हीं फ़ाइल समयों का उपयोग करता है. सफल मामले में, स्रोत के अलग से संग्रहीत commit-info समयों में एक मिलीसेकंड का अंतर है. Iceberg इन्हीं संग्रहीत मानों से delta-ts टैग के नाम बनाता है और हर स्रोत वर्शन के लिए एक delta-version टैग भी बनाता है. Delta इतिहास की घड़ियाँ · Iceberg टैग असाइनमेंट
| लुकअप | देखा गया परिणाम |
|---|---|
| दूसरी स्रोत लॉग फ़ाइल के समय पर Delta टाइमस्टैम्प लुकअप | स्रोत वर्शन 1 |
Iceberg delta-version-0 टैग | पहले माइग्रेट हुआ स्नैपशॉट |
| दूसरी Delta लॉग फ़ाइल के समय पर Iceberg टाइमस्टैम्प लुकअप | कोई मिलती हुई प्रकाशित इतिहास एंट्री नहीं |
| पहले लक्ष्य स्नैपशॉट के बनने के समय पर Iceberg टाइमस्टैम्प लुकअप | कोई मिलती हुई प्रकाशित इतिहास एंट्री नहीं |
| डेस्टिनेशन के प्रकाशित इतिहास के समय पर Iceberg टाइमस्टैम्प लुकअप | अंतिम माइग्रेट हुआ स्नैपशॉट |
माइग्रेशन दोनों रीप्ले को एक ही क्रिएट ट्रांज़ैक्शन में स्टेज करता है. Iceberg का मेटाडेटा बिल्डर प्रकाशित इतिहास से बीच की मुख्य स्नैपशॉट एंट्री फ़िल्टर कर देता है. पहले वाला स्नैपशॉट और उसके टैग उपलब्ध रहते हैं. टाइमस्टैम्प रिज़ॉल्वर प्रकाशित इतिहास में खोजता है. हमारे पहले फ़िक्सचर में दो एंट्री की अपेक्षा थी और वह उसी जाँच पर रुक गया. सुधारे गए फ़िक्सचर ने दोनों टैग किए गए स्नैपशॉट और केवल अंतिम स्नैपशॉट वाले इतिहास को अलग-अलग जाँचा. बीच की लॉग एंट्री का फ़िल्टर · इतिहास रिज़ॉल्वर · इतिहास में पिछला बदलाव
दोहराए गए संग्रहीत समय
इससे जुड़े दूसरे मामले में भी स्रोत की लॉग फ़ाइलों के दो समय क्रम में हैं, इसलिए दोनों मूल वर्शन कटऑफ़ पढ़े जा सकते हैं. उसके दोनों संग्रहीत commit-info टाइमस्टैम्प समान हैं. दूसरा रीप्ले वही delta-ts-1577836800000 टैग बनाने की कोशिश करता है और क्रिएट ट्रांज़ैक्शन कमिट होने से पहले Iceberg की डुप्लिकेट रेफ़रेंस जाँच में त्रुटि पाता है. कैटलॉग बताता है कि टेबल मौजूद नहीं है. फ़ाइलों की अलग जाँच में स्टेज की गई दो Avro फ़ाइलें मिलीं, जिनका कुल आकार 8,641 बाइट था. फ़िक्सचर उस लीगेसी संग्रहीत टाइमस्टैम्प को जाँचता है जिसका उपयोग एक्शन करता है. नए Delta का inCommitTimestamp एक अलग प्रोटोकॉल फ़ील्ड है. Delta Kernel माइग्रेशन के प्रस्तावित इम्प्लीमेंटेशन में दोहराए गए टाइम टैग छोड़ने का लॉजिक पहले से है. डुप्लिकेट रेफ़रेंस जाँच · Delta टैग नाम की गणना · Delta प्रोटोकॉल · Kernel में प्रस्तावित तरीका
ऐसे माइग्रेशन में जिसका ऐतिहासिक डेटा उपभोक्ता इस्तेमाल करते हैं, स्रोत वर्शन, स्रोत सेलेक्टर की घड़ी और लक्ष्य स्नैपशॉट रेफ़रेंस को साथ सहेजें. नाम वाले रेफ़रेंस और टाइमस्टैम्प से रीड करने का अभ्यास अलग-अलग करें. क्रिएट विफल होने पर कैटलॉग और डेस्टिनेशन फ़ाइलों की भी अलग-अलग जाँच करें. हमने खाली सिंथेटिक टेबल और लोकल HadoopCatalog पर इन प्रक्रियाओं को मापा. Spark SQL, रिकॉर्ड समानता, दोबारा कोशिश करने के व्यवहार और अन्य कैटलॉग को मापा नहीं गया है.
दोहराकर देखें
ClockReplay.java, pom.xml और अवलोकनों को एक फ़ोल्डर में डाउनलोड करें. उस फ़ोल्डर से JDK 17 और Maven का उपयोग करें. सत्यापित रन में Liberica JDK Lite 17.0.21.0.3+5 और Maven 3.9.16 का उपयोग हुआ. Maven तय डिपेंडेंसी वर्शन को अस्थायी डायरेक्टरी में डाउनलोड करता है. Java सोर्स लॉन्चर नई लिखी गई लॉग फ़ाइलों के दो जोड़ों पर माइग्रेशन चलाता है. Maven क्लासपाथ गोल · Java सोर्स लॉन्चर
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
"$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +चेकर परिणाम की ये दो पंक्तियाँ प्रिंट करता है.
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=falseमेटाडेटा रीडबैक में snapshots, refs और snapshot-log दिखते हैं. अंतिम कमांड अस्थायी फ़ाइलों की सफ़ाई से पहले विफल डेस्टिनेशन की फ़ाइलों की सूची बनाती है. स्नैपशॉट ID, बनने के समय और स्टेज की गई फ़ाइलों के नाम अलग-अलग रन में बदल सकते हैं. बरकरार टैग मैपिंग और कैटलॉग तथा टाइमस्टैम्प परिणामों की तुलना करें.