# Migracja Delta może tworzyć tagi i zmieniać historię znaczników czasu

Iceberg 1.12.0 przeniósł dwie wersje pustej syntetycznej tabeli Delta do dwóch migawek i utworzył cztery tagi na podstawie numerów wersji źródłowych oraz zapisanych czasów zatwierdzeń z commit-info. W miejscu docelowym opublikowano jeden wpis historii znaczników czasu, dotyczący końcowej migawki. W drugiej migracji dwa identyczne zapisane czasy zatwierdzeń spowodowały błąd zduplikowanego tagu. Tabela docelowa pozostała nieobecna w lokalnym katalogu, a w jej ścieżce magazynu pozostały dwa tymczasowe pliki Avro. [Zestaw testowy](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java) i [obserwacje](https://sapien1.com/research/iceberg-delta-clock/observations.json) dotyczą pustych tabel lokalnych i wykorzystują Delta Standalone 3.3.3 oraz HadoopCatalog. [Akcja migracji](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L177-L189)

## Dwie migawki i jeden opublikowany wpis historii

Test ustawia czasy plików dziennika Delta w odstępie dwóch sekund. Starszy selektor znaczników czasu w Delta korzysta z czasów tych plików. Niezależnie zapisane źródłowe czasy zatwierdzeń z commit-info w udanym przypadku dzieli jedna milisekunda. Iceberg używa tych zapisanych wartości do nadawania nazw tagom `delta-ts` i tworzy również tag `delta-version` dla każdej wersji źródłowej. [Zegary historii Delta](https://github.com/delta-io/delta/blob/v3.3.3/connectors/standalone/src/main/scala/io/delta/standalone/internal/DeltaHistoryManager.scala#L196-L236) · [Przypisywanie tagów Iceberg](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440)

| Wyszukiwanie | Zaobserwowany wynik |
| --- | --- |
| Wyszukiwanie według znacznika czasu Delta dla czasu drugiego źródłowego pliku dziennika | Wersja źródłowa 1 |
| Tag Iceberg `delta-version-0` | Wcześniejsza przeniesiona migawka |
| Wyszukiwanie według znacznika czasu Iceberg dla czasu drugiego pliku dziennika Delta | Brak pasującego wpisu w opublikowanej historii |
| Wyszukiwanie według znacznika czasu Iceberg dla czasu utworzenia pierwszej migawki docelowej | Brak pasującego wpisu w opublikowanej historii |
| Wyszukiwanie według znacznika czasu Iceberg dla czasu z opublikowanej historii tabeli docelowej | Końcowa przeniesiona migawka |

Migracja przygotowuje oba odtworzenia w jednej transakcji tworzenia. Mechanizm budowania metadanych Iceberg odfiltrowuje pośrednie wpisy głównej migawki z opublikowanej historii. Wcześniejsza migawka i jej tagi pozostają dostępne. Mechanizm rozstrzygania znaczników czasu przeszukuje opublikowaną historię. Pierwszy zestaw testowy oczekiwał dwóch wpisów i zatrzymał się na tym sprawdzeniu. Poprawiony zestaw osobno sprawdził obie migawki z tagami oraz historię zawierającą tylko końcową migawkę. [Filtr pośrednich wpisów dziennika](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/TableMetadata.java#L1840-L1885) · [Mechanizm rozstrzygania historii](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/util/SnapshotUtil.java#L314-L337) · [Wcześniejsza zmiana historii](https://github.com/apache/iceberg/pull/5568)

## Powtórzone zapisane czasy

W drugim przypadku źródło nadal ma dwa uporządkowane czasy plików dziennika, więc oba pierwotne punkty odcięcia wersji pozostają dostępne do odczytu. Dwa zapisane w commit-info znaczniki czasu zatwierdzeń są identyczne. Drugie odtworzenie próbuje utworzyć ten sam tag `delta-ts-1577836800000` i napotyka mechanizm Iceberg sprawdzający zduplikowane referencje, zanim transakcja tworzenia zostanie zatwierdzona. Katalog wskazuje, że tabela nie istnieje. Osobna kontrola plików wykazała dwa tymczasowe pliki Avro o łącznym rozmiarze 8 641 bajtów. Zestaw testowy sprawdza starszy zapisany znacznik czasu używany przez tę akcję. W nowszych wersjach Delta `inCommitTimestamp` jest odrębnym polem protokołu. Proponowana implementacja migracji Delta Kernel zawiera już logikę pomijania powtarzających się tagów czasu. [Sprawdzanie zduplikowanych referencji](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/core/src/main/java/org/apache/iceberg/UpdateSnapshotReferencesOperation.java#L61-L66) · [Obliczanie nazwy tagu Delta](https://github.com/apache/iceberg/blob/212aa894e919ff9fdf89160da4aadcbe6858ac01/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeTableAction.java#L429-L440) · [Protokół Delta](https://github.com/delta-io/delta/blob/v3.3.3/PROTOCOL.md#in-commit-timestamps) · [Proponowana obsługa w Kernel](https://github.com/apache/iceberg/blob/0275a908e9314cced92dbaafb65aa3f794b39663/delta-lake/src/main/java/org/apache/iceberg/delta/BaseSnapshotDeltaLakeKernelTableAction.java#L615-L629)

W przypadku migracji obsługującej odbiorców danych historycznych zapisz razem wersję źródłową, zegar selektora źródłowego i referencję do migawki docelowej. Osobno przećwicz odczyty przy użyciu nazwanych referencji i znaczników czasu. Jeśli tworzenie się nie powiedzie, sprawdź osobno katalog i pliki docelowe. W naszych testach zmierzyliśmy te ścieżki na pustych syntetycznych tabelach i lokalnym katalogu HadoopCatalog. Nie zmierzyliśmy działania Spark SQL, równości rekordów, zachowania przy ponawianiu prób ani działania innych katalogów.

## Odtwórz

Pobierz [ClockReplay.java](https://sapien1.com/research/iceberg-delta-clock/ClockReplay.java), [pom.xml](https://sapien1.com/research/iceberg-delta-clock/pom.xml) i [obserwacje](https://sapien1.com/research/iceberg-delta-clock/observations.json) do jednego folderu. W tym folderze użyj JDK 17 i Maven. W zweryfikowanym uruchomieniu wykorzystano Liberica JDK Lite 17.0.21.0.3+5 i Maven 3.9.16. Maven rozwiązuje zależności o ustalonych wersjach w katalogu tymczasowym. Mechanizm uruchamiania kodu źródłowego Java wykonuje migrację dla dwóch nowo zapisanych par plików dziennika. [Cel Maven dla ścieżki klas](https://maven.apache.org/plugins-archives/maven-dependency-plugin-3.8.1/build-classpath-mojo.html) · [Mechanizm uruchamiania kodu źródłowego Java](https://docs.oracle.com/en/java/javase/17/docs/specs/man/java.html)

```
set -eu
sapien_delta_run=$(mktemp -d)
trap 'rm -rf -- "$sapien_delta_run"' EXIT
mkdir "$sapien_delta_run/fixture"
mvn -C -B -q -f pom.xml -Dmaven.repo.local="$sapien_delta_run/repository" \
  org.apache.maven.plugins:maven-dependency-plugin:3.8.1:build-classpath \
  -DincludeScope=runtime -Dmdep.outputFile="$sapien_delta_run/classpath.txt"
java --class-path "$(cat "$sapien_delta_run/classpath.txt")" --source 17 ClockReplay.java \
  "$sapien_delta_run/fixture"
sapien_delta_warehouse="$sapien_delta_run/fixture/warehouse/fixture"
cat "$sapien_delta_warehouse/distinct_times/metadata/v1.metadata.json"
find "$sapien_delta_warehouse/repeated_time" -type f -exec wc -c {} +
```

Program sprawdzający wypisuje te dwa wiersze wyników.

```
DISTINCT sourceCutoffVersion=1 migratedSnapshots=2 migrationTags=4 publishedHistoryEntries=1 targetCutoffSnapshot=null
REPEATED duplicateTimestampTagRejected=true catalogTableExists=false
```

Odczyt metadanych udostępnia `snapshots`, `refs` i `snapshot-log`. Ostatnie polecenie sporządza wykaz plików w miejscu docelowym nieudanej migracji przed usunięciem plików tymczasowych. Identyfikatory migawek, czasy utworzenia i nazwy plików tymczasowych mogą się różnić między uruchomieniami. Porównaj zachowane przypisania tagów oraz wyniki dotyczące katalogu i znaczników czasu.
