Aller au contenu principal

Menu

Recherche

Comment accepter une livraison Parquet pour une évaluation

Langue: Français

Avant de publier une note, vérifiez la livraison reçue, les cas sélectionnés par le logiciel de lecture et les étiquettes utilisées. Choisissez les vérifications selon l’accord de livraison. Une version fixe peut imposer des fichiers précis à des chemins précis. Une réécriture autorisée peut permettre de changer les fichiers et l’ordre des lignes tout en conservant les identifiants et leurs étiquettes.

Vérifiez les fichiers livrés et les cas qui comptent dans la note

Associez chaque chemin relatif Parquet à son SHA-256. Gardez le chemin tel qu’il a été livré, y compris les caractères encodés en pourcentage. Vérifiez l’ensemble des associations, chemins manquants ou en trop compris. Exécutez le filtre de notation avec le lecteur, sa version et les options de partitionnement prévus. Comparez les identifiants obtenus à la liste approuvée et vérifiez leur unicité si l’accord exige une ligne par cas.

Dans une livraison fictive en trois fragments, la liste attendue comprend case-a et case-b, avec deux résultats corrects. Les deux agencements ont le même inventaire d’empreintes de fichiers et tous les lecteurs testés sélectionnent deux cas.

Résultat observéCondition à vérifier
Livraison d’origine, PyArrow avec décodage d’URI sélectionne case-a et case-bL’affectation des fichiers aux chemins et la liste des cas concordent.
Livraison d’origine, PyArrow avec segments littéraux sélectionne case-c et case-dLes chemins concordent. Suspendez la notation, car les cas diffèrent.
Fragments échangés, PyArrow avec décodage d’URI sélectionne case-c et case-dSuspendez la notation pour les nouvelles affectations aux chemins et les cas différents.
Fragments échangés, PyArrow avec segments littéraux sélectionne case-a et case-bLes cas concordent. Suspendez la notation pour les nouvelles affectations aux chemins.

Dans l’agencement d’origine, PyArrow 26.0.1 avec décodage d’URI lit split=test%252Fgold comme la valeur de partition test%2Fgold. Pour la même requête, la lecture littérale des segments sélectionne le dossier nommé split=test%2Fgold. Sur la livraison d’origine, cette lecture donne un résultat correct sur deux. Dans cet exemple, DuckDB 1.4.4 avec partitionnement Hive donne les mêmes résultats que le décodage d’URI dans les deux agencements.

Si la partition figure à la fois dans le chemin et dans une colonne enregistrée, vérifiez les deux indications. Dans un autre exemple à quatre cas, échanger deux fragments intacts crée quatre conflits. Avec un partitionnement Hive explicite, les deux lecteurs testés sélectionnent les cas indiqués par les chemins. Une lecture qui utilise uniquement la colonne retient la partition enregistrée. Résolvez les conflits selon l’accord avant de noter.

Vérifiez les étiquettes par identifiant si la réécriture est permise

Comparez la réécriture à la correspondance approuvée entre cas et étiquettes, à partir des valeurs décodées pour la notation. Dans un exemple fictif distinct de huit lignes, réordonner des lignes entières et échanger deux étiquettes modifient tous deux les octets du fichier tout en conservant des métadonnées sérialisées identiques dans le pied du fichier. La comparaison par identifiant trouve zéro étiquette modifiée dans le réordonnancement et deux dans l’échange. Le nouvel ordre passe ce contrôle s’il est autorisé. L’échange échoue même si le pied du fichier et les totaux par étiquette concordent.

Consignez la référence de la livraison, le lecteur et le filtre de notation, les identifiants manquants ou imprévus et les étiquettes modifiées par cas. La personne suivante pourra ainsi reproduire chaque décision d’acceptation.