Aller au contenu principal

Menu

Recherche

Une migration Delta peut créer des tags et modifier l’historique des horodatages

Langue: Français

Iceberg 1.12.0 a migré deux versions d’une table Delta synthétique vide en deux snapshots et créé quatre tags à partir des numéros de version source et des heures commit-info stockées. La destination a publié une entrée dans l’historique des horodatages, pour le snapshot final. Lors d’une seconde migration, deux heures de commit stockées identiques ont produit une erreur de tag en double. La destination est restée absente du catalogue local et deux fichiers Avro intermédiaires sont restés sous son chemin d’entrepôt. Le jeu de test et les observations utilisent des tables locales vides avec Delta Standalone 3.3.3 et HadoopCatalog. Action de migration

Deux snapshots et une entrée d’historique publiée

Le test définit les heures des fichiers journaux Delta à deux secondes d’intervalle. Le sélecteur d’horodatage historique de Delta utilise ces heures de fichier. Dans le cas réussi, les heures commit-info stockées indépendamment par la source sont espacées d’une milliseconde. Iceberg utilise ces valeurs stockées pour nommer les tags delta-ts et crée aussi un tag delta-version pour chaque version source. Horloges de l’historique Delta · Attribution des tags Iceberg

RechercheRésultat observé
Recherche Delta par horodatage à l’heure du second fichier journal sourceVersion source 1
Tag Iceberg delta-version-0Le premier snapshot migré
Recherche Iceberg par horodatage à l’heure du second fichier journal DeltaAucune entrée correspondante dans l’historique publié
Recherche Iceberg par horodatage à l’heure de création du premier snapshot cibleAucune entrée correspondante dans l’historique publié
Recherche Iceberg par horodatage à l’heure de l’historique publié de la destinationLe snapshot migré final

La migration prépare les deux réexécutions dans une même transaction de création. Le constructeur de métadonnées d’Iceberg filtre les entrées intermédiaires du snapshot principal hors de l’historique publié. Le premier snapshot et ses tags restent disponibles. Le résolveur d’horodatage effectue sa recherche dans l’historique publié. Notre premier jeu de test attendait deux entrées et s’est arrêté sur cette assertion. Le jeu de test corrigé a vérifié séparément les deux snapshots associés aux tags et l’historique limité au snapshot final. Filtrage des entrées intermédiaires du journal · Résolveur d’historique · Modification antérieure de l’historique

Heures stockées répétées

Dans ce second cas, la source conserve deux heures de fichiers journaux ordonnées, de sorte que les deux points de coupure des versions d’origine restent lisibles. Ses deux horodatages commit-info stockés sont identiques. La seconde réexécution tente de créer le même tag delta-ts-1577836800000 et déclenche le contrôle des références en double d’Iceberg avant la validation de la transaction de création. Le catalogue indique que la table est absente. Une inspection distincte des fichiers a trouvé deux fichiers Avro intermédiaires totalisant 8 641 octets. Le jeu de test utilise l’horodatage historique stocké dont se sert l’action. Le champ inCommitTimestamp des versions plus récentes de Delta est un champ de protocole distinct. Une implémentation proposée de la migration avec Delta Kernel comprend déjà une logique pour ignorer les tags temporels répétés. Contrôle des références en double · Calcul du nom du tag Delta · Protocole Delta · Traitement proposé dans Kernel

Pour une migration destinée à des utilisateurs de données historiques, enregistrez ensemble la version source, l’horloge du sélecteur source et la référence du snapshot cible. Testez séparément les lectures par référence nommée et par horodatage. Après un échec de création, vérifiez aussi séparément le catalogue et les fichiers de destination. Nos exécutions ont mesuré ces traitements sur des tables synthétiques vides et un HadoopCatalog local. Spark SQL, l’égalité des enregistrements, le comportement des nouvelles tentatives et les autres catalogues restent à mesurer.

Reproduire

Téléchargez ClockReplay.java, pom.xml et les observations dans un même dossier. Depuis ce dossier, utilisez JDK 17 et Maven. L’exécution vérifiée utilisait Liberica JDK Lite 17.0.21.0.3+5 et Maven 3.9.16. Maven résout les versions fixes des dépendances dans le répertoire temporaire. Le lanceur de code source Java exécute la migration sur deux paires de fichiers journaux nouvellement créées. Objectif classpath de Maven · Lanceur de code source Java

set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +

Le programme de vérification affiche ces deux lignes de résultats.

DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false

La relecture des métadonnées expose snapshots, refs et snapshot-log. La dernière commande répertorie les fichiers de la destination dont la création a échoué avant le nettoyage temporaire. Les identifiants des snapshots, les heures de création et les noms des fichiers intermédiaires peuvent varier d’une exécution à l’autre. Comparez la correspondance conservée des tags ainsi que les résultats du catalogue et des recherches par horodatage.