انتقل إلى المحتوى الرئيسي

القائمة

أبحاث

يمكن أن ينشئ ترحيل Delta وسوما ويغيّر سجل الطوابع الزمنية

اللغة: العربية

رحّل Iceberg 1.12.0 نسختين من جدول Delta تجريبي فارغ إلى لقطتين، وأنشأ أربعة وسوم من أرقام نسخ المصدر وأوقات معلومات الالتزام المخزنة. ونشرت الوجهة إدخالا واحدا في سجل الطوابع الزمنية، للّقطة الأخيرة. وفي ترحيل ثانٍ، أدى تساوي وقتَي الالتزام المخزنين إلى خطأ بسبب تكرار وسم. وظل الجدول الوجهة غائبا عن الكتالوج المحلي، وبقي ملفا Avro مرحليان تحت مساره في مستودع البيانات. تستخدم بيانات الاختبار والملاحظات جدولا محليا فارغا مع Delta Standalone 3.3.3 وHadoopCatalog. إجراء الترحيل

لقطتان وإدخال منشور واحد في السجل

يضبط الاختبار وقتَي ملفَي سجل Delta بفارق ثانيتين. ويستخدم محدد الطابع الزمني القديم في Delta وقتَي الملفين. أما وقتا معلومات الالتزام المخزنان بشكل مستقل في المصدر فيفصل بينهما جزء من ألف من الثانية في الحالة الناجحة. ويستخدم Iceberg هاتين القيمتين المخزنتين لتسمية وسوم delta-ts، وينشئ أيضا وسم delta-version لكل نسخة من المصدر. ساعات سجل Delta · تعيين وسوم Iceberg

البحثالنتيجة المرصودة
البحث بالطابع الزمني في Delta عند وقت ملف سجل المصدر الثانيالنسخة 1 من المصدر
وسم Iceberg delta-version-0اللقطة المرحّلة السابقة
البحث بالطابع الزمني في Iceberg عند وقت ملف سجل Delta الثانيلا يوجد إدخال مطابق في السجل المنشور
البحث بالطابع الزمني في Iceberg عند وقت إنشاء أول لقطة في الوجهةلا يوجد إدخال مطابق في السجل المنشور
البحث بالطابع الزمني في Iceberg عند وقت السجل المنشور للوجهةاللقطة المرحّلة الأخيرة

يضع الترحيل عمليتَي إعادة التشغيل في مرحلة التجهيز ضمن معاملة إنشاء واحدة. ويستبعد منشئ البيانات الوصفية في Iceberg إدخالات اللقطات الوسيطة للفرع الرئيسي من السجل المنشور. وتظل اللقطة السابقة ووسومها متاحة. ويبحث محدد الطابع الزمني في السجل المنشور. توقعت بيانات الاختبار الأولى إدخالين وتوقفت عند هذا التحقق. أما بيانات الاختبار المصححة فتحققت بشكل منفصل من اللقطتين المرتبطتين بالوسوم، ومن اقتصار السجل على اللقطة الأخيرة. تصفية إدخالات السجل الوسيطة · محدد السجل · تغيير سابق في السجل

أوقات مخزنة مكررة

في الحالة المقابلة، لا يزال للمصدر وقتان مرتبان لملفَي السجل، لذا تظل النسختان الأصليتان قابلتين للقراءة عند وقتيهما المحددين. لكن الطابعين الزمنيين المخزنين لمعلومات الالتزام متساويان. وتحاول إعادة التشغيل الثانية إنشاء الوسم نفسه delta-ts-1577836800000، فتواجه فحص Iceberg للمراجع المكررة قبل اعتماد معاملة الإنشاء. ويُظهر الكتالوج أن الجدول غير موجود. ووجد فحص منفصل للملفات ملفَي Avro مرحليين بحجم إجمالي قدره 8,641 بايت. تختبر بيانات الاختبار الطابع الزمني المخزن القديم الذي يستخدمه الإجراء. أما inCommitTimestamp في إصدارات Delta الأحدث فهو حقل بروتوكول مستقل. ويتضمن تنفيذ مقترح لترحيل Delta Kernel بالفعل منطقًا لتخطي وسوم الوقت المكررة. فحص المراجع المكررة · حساب اسم وسم Delta · بروتوكول Delta · المعالجة المقترحة في Kernel

في أي ترحيل يخدم مستهلكي البيانات التاريخية، احفظ نسخة المصدر وساعة تحديد المصدر ومرجع لقطة الوجهة معا. واختبر قراءات المراجع المسماة والقراءات بالطابع الزمني كلًّا على حدة. كما يستدعي فشل الإنشاء فحص الكتالوج وملفات الوجهة كلًّا على حدة. قسنا هذه المسارات في اختباراتنا على جداول تجريبية فارغة وHadoopCatalog محلي. ولم نقس Spark SQL أو تطابق السجلات أو سلوك إعادة المحاولة أو الكتالوجات الأخرى.

إعادة الاختبار

نزّل ClockReplay.java وpom.xml والملاحظات في مجلد واحد. ومن ذلك المجلد، استخدم JDK 17 وMaven. استخدم التشغيل الذي تحققنا منه Liberica JDK Lite 17.0.21.0.3+5 وMaven 3.9.16. ويحل Maven إصدارات التبعيات المحددة في الدليل المؤقت. ويشغّل مشغّل مصادر Java الترحيل على زوجين من ملفات السجل المكتوبة حديثا. هدف مسار أصناف Maven · مشغّل مصادر Java

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

يطبع برنامج التحقق سطرَي النتائج التاليين.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

تعرض قراءة البيانات الوصفية snapshots وrefs وsnapshot-log. ويحصر الأمر الأخير محتويات الوجهة التي فشل إنشاؤها قبل تنظيف الملفات المؤقتة. وقد تختلف معرّفات اللقطات وأوقات إنشائها وأسماء الملفات المرحلية بين تشغيل وآخر. قارن تعيين الوسوم المحتفظ به ونتائج الكتالوج والطوابع الزمنية.