Sari la conținutul principal

Meniu

Cercetare

Cum accepți o livrare Parquet pentru evaluare

Limbă: Română

Înainte de a raporta un scor, verifică ce livrare a sosit, ce cazuri a selectat cititorul și ce etichete a folosit. Alege verificările conform acordului de livrare. O versiune fixă poate cere fișiere precise la căi precise. O rescriere permisă poate schimba fișierele și ordinea rândurilor, păstrând ID-urile cazurilor și etichetele.

Verifică livrarea fixă și cazurile care intră în scor

Asociază fiecare cale relativă Parquet cu valoarea SHA-256. Păstrează calea exact cum a fost livrată, inclusiv caracterele codificate cu procent. Verifică întreaga asociere, inclusiv căile lipsă sau în plus. Rulează filtrul de evaluare cu cititorul, versiunea și opțiunile de partiționare planificate. Compară ID-urile returnate cu lista aprobată și verifică dacă sunt unice atunci când acordul cere un rând pe caz.

Într-o livrare fictivă cu trei fragmente, lista așteptată conține case-a și case-b, cu două rezultate corecte. Ambele aranjamente au același inventar de sume de control, iar toți cititorii testați selectează două cazuri.

Rezultat observatCondiție de verificat
Livrare inițială, PyArrow cu decodare URI selectează case-a și case-bAsocierile cu căile și lista cazurilor corespund.
Livrare inițială, PyArrow cu segmente literale selectează case-c și case-dAsocierile cu căile corespund. Oprește evaluarea din cauza cazurilor diferite.
Fragmente inversate, PyArrow cu decodare URI selectează case-c și case-dOprește evaluarea deoarece asocierile cu căile și cazurile diferă.
Fragmente inversate, PyArrow cu segmente literale selectează case-a și case-bCazurile corespund. Oprește evaluarea din cauza asocierilor noi cu căile.

În aranjamentul inițial, PyArrow 26.0.1 cu decodare URI interpretează split=test%252Fgold drept valoarea partiției test%2Fgold. Cu segmente literale, aceeași interogare selectează dosarul numit split=test%2Fgold. În livrarea inițială, citirea literală dă un rezultat corect din două. În acest exemplu, DuckDB 1.4.4 cu partiționare Hive dă aceleași rezultate ca decodarea URI în ambele aranjamente.

Dacă partiția apare atât în cale, cât și într-o coloană fizică, verifică ambele declarații. Într-un alt exemplu cu patru cazuri, mutarea a două fragmente intacte unul în locul celuilalt produce patru conflicte. Cu partiționare Hive explicită, ambii cititori selectează cazurile indicate de căi. Citirile bazate doar pe coloana fizică folosesc partiția stocată. Rezolvă conflictele conform acordului înainte de evaluare.

Verifică etichetele după ID dacă rescrierea este permisă

Compară rescrierea cu asocierile aprobate dintre cazuri și etichete, folosind valorile decodate de evaluator. Într-un alt exemplu fictiv cu opt rânduri, reordonarea rândurilor întregi și schimbarea între ele a două etichete modifică octeții fișierului și păstrează aceleași metadate serializate de la sfârșit. Comparația după ID găsește zero etichete modificate la reordonare și două la schimb. Reordonarea trece verificarea dacă ordinea poate varia. Schimbul nu trece, chiar dacă metadatele finale și totalurile pe etichetă coincid.

Notează referința livrării, cititorul și filtrul, ID-urile lipsă sau neașteptate și asocierile modificate. Următorul evaluator poate astfel reproduce fiecare decizie de acceptare.