Hoppa till huvudinnehållet

Meny

Forskning

Så godkänner du en Parquet-leverans för utvärdering

Språk: Svenska

Kontrollera vilken leverans som kom, vilka fall läsprogrammet valde och vilka etiketter det använde innan du rapporterar poängen. Välj kontroller enligt leveransavtalet. En fast version kan kräva specifika filer på specifika sökvägar. En tillåten omskrivning kan låta filer och radordning ändras så länge fallens ID:n och etiketter bevaras.

Kontrollera den fasta leveransen och vilka fall som poängsätts

Koppla varje relativ Parquet-sökväg till dess SHA-256. Använd sökvägen som den levererades, inklusive procentkodade tecken. Kontrollera hela kopplingen och leta efter saknade och extra sökvägar. Kör poängfiltret med det avsedda läsprogrammet, versionen och partitionsinställningarna. Jämför de lästa ID:na med den godkända listan och kontrollera att de är unika om avtalet kräver en rad per fall.

I en påhittad leverans med tre filfragment består den avsedda listan av case-a och case-b, med två rätta utfall. Båda placeringarna har samma uppsättning kontrollsummor, och varje testat läsprogram väljer två fall.

Observerat resultatVad behöver kontrolleras?
Ursprunglig leverans, PyArrow med URI-avkodning väljer case-a och case-bFilerna ligger på rätt sökvägar och fallen stämmer.
Ursprunglig leverans, PyArrow med ordagranna sökvägsdelar väljer case-c och case-dFilerna ligger rätt. Vänta med poängsättningen eftersom fallen skiljer sig.
Ombytta fragment, PyArrow med URI-avkodning väljer case-c och case-dVänta med poängsättningen eftersom både filplacering och fall avviker.
Ombytta fragment, PyArrow med ordagranna sökvägsdelar väljer case-a och case-bFallen stämmer. Vänta med poängsättningen eftersom filplaceringen har ändrats.

I originalet tolkar PyArrow 26.0.1 med URI-avkodning split=test%252Fgold som partitionsvärdet test%2Fgold. När sökvägsdelarna läses ordagrant väljer samma fråga mappen split=test%2Fgold. Den ordagranna läsningen av originalet ger ett rätt utfall av två. I exemplet matchar DuckDB 1.4.4 med Hive-partitionering URI-avkodningen för båda placeringarna.

Om leveransen anger partitionen både i sökvägen och i en lagrad kolumn, kontrollera båda. I ett separat exempel med fyra fall ger två intakta fragment som byter plats fyra konflikter. Med Hive-partitionering uttryckligen vald läser båda testade programmen fallen i sökvägarna. När bara den lagrade kolumnen läses används dess partitionsvärde. Lös konflikterna enligt avtalet innan du räknar poängen.

Kontrollera etiketter per fall-ID om omskrivning är tillåten

Jämför omskrivningen med den godkända kopplingen mellan fall och etiketter med de värden som poängsättaren läser. I ett annat fiktivt exempel med åtta rader ändrar både omordning av hela rader och byte av två etiketter filens byte men bevarar samma serialiserade metadata i filslutet. Jämförelsen per ID hittar noll ändrade etiketter vid omordningen och två vid bytet. Om radordningen får ändras klarar omordningen etikettkontrollen. Bytet underkänns trots att metadata i filslutet och antal per etikett stämmer.

Spara leveransreferensen, läsprogrammet och filtret, saknade eller oväntade ID:n och ändrade kopplingar. Då kan nästa granskare upprepa varje beslut om godkännande.