Pananaliksik
Maaaring gumawa ng mga tag at magbago ng history ng timestamp ang Delta migration
Nag-migrate ang Iceberg 1.12.0 ng dalawang bersyon ng isang walang lamang synthetic Delta table tungo sa dalawang snapshot at gumawa ng apat na tag mula sa mga numero ng bersyon ng source at mga nakaimbak na oras ng commit-info. Nag-publish ang destination ng isang entry sa history ng timestamp, para sa huling snapshot. Sa ikalawang migration, nagdulot ng duplicate tag error ang dalawang magkaparehong nakaimbak na oras ng commit. Nanatiling wala ang destination sa local catalog, at may dalawang staged Avro file na naiwan sa ilalim ng warehouse path nito. Gumagamit ang programang ginamit sa pagsubok at mga obserbasyon ng mga walang lamang local table na may Delta Standalone 3.3.3 at HadoopCatalog. Code para sa paglilipat ng talahanayan
Dalawang snapshot at isang na-publish na entry sa history
Itinatakda ng test na dalawang segundo ang pagitan ng mga oras ng Delta log file. Ginagamit ng legacy timestamp selector ng Delta ang mga oras na iyon ng file. Sa matagumpay na kaso, isang millisecond ang pagitan ng magkahiwalay na nakaimbak na oras ng commit-info ng source. Ginagamit ng Iceberg ang mga nakaimbak na halagang iyon para pangalanan ang mga delta-ts tag at gumagawa rin ng delta-version tag para sa bawat bersyon ng source. Mga orasan ng Delta history · Pagtatalaga ng Iceberg tag
| Paghahanap | Naobserbahang resulta |
|---|---|
| Paghahanap ng Delta timestamp sa oras ng ikalawang log file ng source | Bersyon 1 ng source |
Tag na delta-version-0 sa Iceberg | Ang naunang na-migrate na snapshot |
| Paghahanap ng Iceberg timestamp sa oras ng ikalawang Delta log file | Walang katugmang na-publish na entry sa history |
| Paghahanap ng Iceberg timestamp sa oras ng paggawa ng unang target na snapshot | Walang katugmang na-publish na entry sa history |
| Paghahanap ng Iceberg timestamp sa oras ng na-publish na history ng destination | Ang huling na-migrate na snapshot |
Ista-stage ng migration ang parehong replay sa isang create transaction. Sinasala ng metadata builder ng Iceberg ang mga intermediate na entry ng main snapshot mula sa na-publish na history. Nanatiling available ang naunang snapshot at ang mga tag nito. Hinahanap ng timestamp resolver sa na-publish na history. Inaasahan ng una naming fixture ang dalawang entry at huminto sa assertion na iyon. Hiwalay na sinuri ng itinamang fixture ang parehong snapshot na may tag at ang history na huling snapshot lang ang laman. Filter ng intermediate log entry · Paghahanap ng snapshot sa kasaysayan ng talahanayan · Naunang pagbabago sa history
Magkakaparehong nakaimbak na oras
Sa kaparehong kaso, mayroon pa ring dalawang magkakasunod na oras ng log file ang source, kaya nababasa pa rin ang parehong orihinal na cutoff ng bersyon. Magkapareho ang dalawang nakaimbak na timestamp ng commit-info nito. Sinusubukan ng ikalawang replay na gawin ang parehong delta-ts-1577836800000 tag at natatamaan ang duplicate-reference check ng Iceberg bago ma-commit ang create transaction. Iniulat ng catalog na wala ang table. Sa hiwalay na inspeksyon ng mga file, may nakitang dalawang staged Avro file na may kabuuang 8,641 byte. Ginagamit ng fixture ang legacy na nakaimbak na timestamp na ginagamit ng action. Hiwalay na protocol field ang inCommitTimestamp ng mas bagong Delta. May logic na ang iminungkahing implementasyon ng Delta Kernel migration para laktawan ang paulit-ulit na time tag. Pagsuri kung may kapangalan na ang tag · Pagkalkula ng pangalan ng Delta tag · Detalye ng protocol ng Delta · Iminungkahing paghawak ng Kernel
Para sa migration na ginagamit ng mga consumer ng historical data, i-save nang magkakasama ang bersyon ng source, ang orasan ng source selector at ang reference ng target na snapshot. Subukan nang magkahiwalay ang pagbasa gamit ang named reference at timestamp. Kapag nabigo ang create, kailangang suriin nang magkahiwalay ang catalog at mga file ng destination. Sinukat ng aming mga run ang mga path na ito sa mga walang lamang synthetic table at isang local HadoopCatalog. Hindi pa nasusukat ang Spark SQL, pagkakapantay ng mga record, gawi sa muling pagsubok at iba pang catalog.
Ulitin ang pagsubok
I-download ang ClockReplay.java, pom.xml at ang mga obserbasyon sa iisang folder. Mula sa folder na iyon, gamitin ang JDK 17 at Maven. Gumamit ang na-verify na run ng Liberica JDK Lite 17.0.21.0.3+5 at Maven 3.9.16. Nire-resolve ng Maven ang mga nakapirming bersyon ng dependency sa temporary directory. Direktang pinapatakbo ng Java ang source file para ilipat ang talahanayan sa dalawang bagong isinulat na pares ng log file. Pagbuo ng classpath sa Maven · Pagpapatakbo ng source file sa Java
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
-DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
"$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +Ini-print ng checker ang dalawang linyang ito ng resulta.
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=falseIpinapakita ng metadata readback ang snapshots, refs at snapshot-log. Iniimbentaryo ng huling command ang nabigong destination bago linisin ang temporary directory. Maaaring mag-iba sa bawat run ang mga snapshot ID, oras ng paggawa at pangalan ng staged file. Ihambing ang napanatiling mapping ng mga tag at ang mga resulta ng catalog at timestamp.