Forskning
Så godkänner du en Parquet-leverans för utvärdering
Kontrollera vilken leverans som kom, vilka fall läsprogrammet valde och vilka etiketter det använde innan du rapporterar poängen. Välj kontroller enligt leveransavtalet. En fast version kan kräva specifika filer på specifika sökvägar. En tillåten omskrivning kan låta filer och radordning ändras så länge fallens ID:n och etiketter bevaras.
Kontrollera den fasta leveransen och vilka fall som poängsätts
Koppla varje relativ Parquet-sökväg till dess SHA-256. Använd sökvägen som den levererades, inklusive procentkodade tecken. Kontrollera hela kopplingen och leta efter saknade och extra sökvägar. Kör poängfiltret med det avsedda läsprogrammet, versionen och partitionsinställningarna. Jämför de lästa ID:na med den godkända listan och kontrollera att de är unika om avtalet kräver en rad per fall.
I en påhittad leverans med tre filfragment består den avsedda listan av case-a och case-b, med två rätta utfall. Båda placeringarna har samma uppsättning kontrollsummor, och varje testat läsprogram väljer två fall.
| Observerat resultat | Vad behöver kontrolleras? |
|---|---|
| Ursprunglig leverans, PyArrow med URI-avkodning väljer case-a och case-b | Filerna ligger på rätt sökvägar och fallen stämmer. |
| Ursprunglig leverans, PyArrow med ordagranna sökvägsdelar väljer case-c och case-d | Filerna ligger rätt. Vänta med poängsättningen eftersom fallen skiljer sig. |
| Ombytta fragment, PyArrow med URI-avkodning väljer case-c och case-d | Vänta med poängsättningen eftersom både filplacering och fall avviker. |
| Ombytta fragment, PyArrow med ordagranna sökvägsdelar väljer case-a och case-b | Fallen stämmer. Vänta med poängsättningen eftersom filplaceringen har ändrats. |
I originalet tolkar PyArrow 26.0.1 med URI-avkodning split=test%252Fgold som partitionsvärdet test%2Fgold. När sökvägsdelarna läses ordagrant väljer samma fråga mappen split=test%2Fgold. Den ordagranna läsningen av originalet ger ett rätt utfall av två. I exemplet matchar DuckDB 1.4.4 med Hive-partitionering URI-avkodningen för båda placeringarna.
Om leveransen anger partitionen både i sökvägen och i en lagrad kolumn, kontrollera båda. I ett separat exempel med fyra fall ger två intakta fragment som byter plats fyra konflikter. Med Hive-partitionering uttryckligen vald läser båda testade programmen fallen i sökvägarna. När bara den lagrade kolumnen läses används dess partitionsvärde. Lös konflikterna enligt avtalet innan du räknar poängen.
Kontrollera etiketter per fall-ID om omskrivning är tillåten
Jämför omskrivningen med den godkända kopplingen mellan fall och etiketter med de värden som poängsättaren läser. I ett annat fiktivt exempel med åtta rader ändrar både omordning av hela rader och byte av två etiketter filens byte men bevarar samma serialiserade metadata i filslutet. Jämförelsen per ID hittar noll ändrade etiketter vid omordningen och två vid bytet. Om radordningen får ändras klarar omordningen etikettkontrollen. Bytet underkänns trots att metadata i filslutet och antal per etikett stämmer.
Spara leveransreferensen, läsprogrammet och filtret, saknade eller oväntade ID:n och ändrade kopplingar. Då kan nästa granskare upprepa varje beslut om godkännande.