# يمكن أن ينشئ ترحيل Delta وسوما ويغيّر سجل الطوابع الزمنية

رحّل Iceberg 1.12.0 نسختين من جدول Delta تجريبي فارغ إلى لقطتين، وأنشأ أربعة وسوم من أرقام نسخ المصدر وأوقات معلومات الالتزام المخزنة. ونشرت الوجهة إدخالا واحدا في سجل الطوابع الزمنية، للّقطة الأخيرة. وفي ترحيل ثانٍ، أدى تساوي وقتَي الالتزام المخزنين إلى خطأ بسبب تكرار وسم. وظل الجدول الوجهة غائبا عن الكتالوج المحلي، وبقي ملفا Avro مرحليان تحت مساره في مستودع البيانات. تستخدم [بيانات الاختبار](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) و[الملاحظات](https://sapien1.com/research/iceberg-delta-clock/observations.json) جدولا محليا فارغا مع Delta Standalone 3.3.3 وHadoopCatalog. [إجراء الترحيل](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## لقطتان وإدخال منشور واحد في السجل

يضبط الاختبار وقتَي ملفَي سجل Delta بفارق ثانيتين. ويستخدم محدد الطابع الزمني القديم في Delta وقتَي الملفين. أما وقتا معلومات الالتزام المخزنان بشكل مستقل في المصدر فيفصل بينهما جزء من ألف من الثانية في الحالة الناجحة. ويستخدم Iceberg هاتين القيمتين المخزنتين لتسمية وسوم `delta-ts`، وينشئ أيضا وسم `delta-version` لكل نسخة من المصدر. [ساعات سجل Delta](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [تعيين وسوم Iceberg](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| البحث | النتيجة المرصودة |
| --- | --- |
| البحث بالطابع الزمني في Delta عند وقت ملف سجل المصدر الثاني | النسخة 1 من المصدر |
| وسم Iceberg `delta-version-0` | اللقطة المرحّلة السابقة |
| البحث بالطابع الزمني في Iceberg عند وقت ملف سجل Delta الثاني | لا يوجد إدخال مطابق في السجل المنشور |
| البحث بالطابع الزمني في Iceberg عند وقت إنشاء أول لقطة في الوجهة | لا يوجد إدخال مطابق في السجل المنشور |
| البحث بالطابع الزمني في Iceberg عند وقت السجل المنشور للوجهة | اللقطة المرحّلة الأخيرة |

يضع الترحيل عمليتَي إعادة التشغيل في مرحلة التجهيز ضمن معاملة إنشاء واحدة. ويستبعد منشئ البيانات الوصفية في Iceberg إدخالات اللقطات الوسيطة للفرع الرئيسي من السجل المنشور. وتظل اللقطة السابقة ووسومها متاحة. ويبحث محدد الطابع الزمني في السجل المنشور. توقعت بيانات الاختبار الأولى إدخالين وتوقفت عند هذا التحقق. أما بيانات الاختبار المصححة فتحققت بشكل منفصل من اللقطتين المرتبطتين بالوسوم، ومن اقتصار السجل على اللقطة الأخيرة. [تصفية إدخالات السجل الوسيطة](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [محدد السجل](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [تغيير سابق في السجل](https://github.com/apache/iceberg/pull/5568)

## أوقات مخزنة مكررة

في الحالة المقابلة، لا يزال للمصدر وقتان مرتبان لملفَي السجل، لذا تظل النسختان الأصليتان قابلتين للقراءة عند وقتيهما المحددين. لكن الطابعين الزمنيين المخزنين لمعلومات الالتزام متساويان. وتحاول إعادة التشغيل الثانية إنشاء الوسم نفسه `delta-ts-1577836800000`، فتواجه فحص Iceberg للمراجع المكررة قبل اعتماد معاملة الإنشاء. ويُظهر الكتالوج أن الجدول غير موجود. ووجد فحص منفصل للملفات ملفَي Avro مرحليين بحجم إجمالي قدره 8,641 بايت. تختبر بيانات الاختبار الطابع الزمني المخزن القديم الذي يستخدمه الإجراء. أما `inCommitTimestamp` في إصدارات Delta الأحدث فهو حقل بروتوكول مستقل. ويتضمن تنفيذ مقترح لترحيل Delta Kernel بالفعل منطقًا لتخطي وسوم الوقت المكررة. [فحص المراجع المكررة](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [حساب اسم وسم Delta](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [بروتوكول Delta](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [المعالجة المقترحة في Kernel](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

في أي ترحيل يخدم مستهلكي البيانات التاريخية، احفظ نسخة المصدر وساعة تحديد المصدر ومرجع لقطة الوجهة معا. واختبر قراءات المراجع المسماة والقراءات بالطابع الزمني كلًّا على حدة. كما يستدعي فشل الإنشاء فحص الكتالوج وملفات الوجهة كلًّا على حدة. قسنا هذه المسارات في اختباراتنا على جداول تجريبية فارغة وHadoopCatalog محلي. ولم نقس Spark SQL أو تطابق السجلات أو سلوك إعادة المحاولة أو الكتالوجات الأخرى.

## إعادة الاختبار

نزّل [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) و[pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) و[الملاحظات](https://sapien1.com/research/iceberg-delta-clock/observations.json) في مجلد واحد. ومن ذلك المجلد، استخدم JDK 17 وMaven. استخدم التشغيل الذي تحققنا منه Liberica JDK Lite 17.0.21.0.3+5 وMaven 3.9.16. ويحل Maven إصدارات التبعيات المحددة في الدليل المؤقت. ويشغّل مشغّل مصادر Java الترحيل على زوجين من ملفات السجل المكتوبة حديثا. [هدف مسار أصناف Maven](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [مشغّل مصادر Java](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

يطبع برنامج التحقق سطرَي النتائج التاليين.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

تعرض قراءة البيانات الوصفية `snapshots` و`refs` و`snapshot-log`. ويحصر الأمر الأخير محتويات الوجهة التي فشل إنشاؤها قبل تنظيف الملفات المؤقتة. وقد تختلف معرّفات اللقطات وأوقات إنشائها وأسماء الملفات المرحلية بين تشغيل وآخر. قارن تعيين الوسوم المحتفظ به ونتائج الكتالوج والطوابع الزمنية.
