# Jak převzít dodávku v Parquetu pro hodnocení

Před zveřejněním skóre ověřte, jaká dodávka dorazila, které případy čtecí nástroj vybral a jaké štítky použil. Kontroly zvolte podle dohody o dodání. Pevně daná verze může vyžadovat přesné soubory na přesných cestách. Povolený přepis může měnit soubory a pořadí řádků, pokud zachová ID případů a jejich štítky.

## Ověřte pevně danou dodávku a hodnocené případy

Ke každé relativní cestě Parquetu přiřaďte kontrolní součet SHA-256. Použijte cestu v dodané podobě včetně znaků kódovaných procenty. Ověřte celé přiřazení i chybějící a nadbytečné cesty. Spusťte hodnoticí filtr se zamýšleným čtecím nástrojem, jeho verzí a volbami pro dělení dat. Vrácená ID porovnejte se schváleným seznamem a ověřte jejich jedinečnost, pokud dohoda vyžaduje jeden řádek na případ.

Ve fiktivní dodávce se třemi částmi jsou očekávanými případy case-a a case-b, oba se správným výsledkem. Obě rozmístění mají stejný soupis kontrolních součtů a každý testovaný čtecí nástroj vybírá dva případy.

| Zjištěný výsledek | Co je třeba prověřit |
| --- | --- |
| Původní dodávka, PyArrow s dekódováním URI vybere case-a a case-b | Umístění souborů i seznam případů souhlasí. |
| Původní dodávka, PyArrow s doslovným čtením cesty vybere case-c a case-d | Umístění souborů souhlasí. Pozastavte hodnocení kvůli jiným případům. |
| Vyměněné části, PyArrow s dekódováním URI vybere case-c a case-d | Pozastavte hodnocení, protože se liší umístění souborů i případy. |
| Vyměněné části, PyArrow s doslovným čtením cesty vybere case-a a case-b | Případy souhlasí. Pozastavte hodnocení kvůli změně umístění souborů. |

V původním rozmístění PyArrow 26.0.1 při dekódování URI čte `split=test%252Fgold` jako hodnotu oddílu `test%2Fgold`. Při doslovném čtení částí cesty stejný dotaz vybere složku `split=test%2Fgold`. V původní dodávce dává doslovné čtení jeden správný výsledek ze dvou. V tomto příkladu se DuckDB 1.4.4 s dělením Hive shoduje s dekódováním URI v obou rozmístěních.

Pokud je oddíl uvedený v cestě i v uloženém sloupci, ověřte oba údaje. V odděleném příkladu se čtyřmi případy výměna umístění dvou nezměněných částí vytvoří čtyři rozpory. Při výslovném nastavení dělení Hive se oba testované nástroje řídí cestami. Při čtení pouze fyzického sloupce použijí uložený oddíl. Rozpory vyřešte podle dohody před výpočtem skóre.

## Pokud je přepis povolený, ověřte štítky podle ID případu

Přepsaná data porovnejte se schváleným přiřazením případů ke štítkům. Použijte hodnoty dekódované hodnoticím nástrojem. V odděleném fiktivním příkladu s osmi řádky změna pořadí celých řádků i výměna dvou štítků mění bajty souboru, ale zachovává stejná serializovaná metadata na jeho konci. Porovnání podle ID najde nula změn při přesunu řádků a dvě při výměně štítků. Pokud se pořadí smí měnit, přesun řádků kontrolou projde. Výměna štítků neprojde, přestože se metadata na konci a počty štítků shodují.

Zaznamenejte odkaz na dodávku, nástroj a filtr, chybějící nebo neočekávaná ID a všechna změněná přiřazení. Další kontrolující tak může zopakovat každé rozhodnutí o převzetí.

[Stáhnout skripty a uložené výsledky (ZIP)](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
