Zum Hauptinhalt springen

Menü

Forschung

So prüfst du eine Parquet-Lieferung für eine Auswertung

Sprache: Deutsch

Prüfe vor der Veröffentlichung eines Ergebnisses, welche Lieferung angekommen ist, welche Fälle die Auswertungssoftware ausgewählt hat und welche Labels sie verwendet hat. Richte die Prüfungen nach der Liefervereinbarung. Eine feste Version kann bestimmte Dateien an bestimmten Pfaden verlangen. Beim erlaubten Umschreiben können sich Dateien und Zeilenreihenfolge ändern, solange Fall-IDs und Labels erhalten bleiben.

Prüfe die feste Lieferung und die ausgewerteten Fälle

Ordne jedem relativen Parquet-Pfad seine SHA-256-Prüfsumme zu. Verwende den Pfad genau wie geliefert, einschließlich prozentkodierter Zeichen. Prüfe die vollständige Zuordnung sowie fehlende und zusätzliche Pfade. Wende den Auswertungsfilter mit dem vorgesehenen Leseprogramm, seiner Version und den vorgesehenen Partitionseinstellungen an. Vergleiche die gelesenen IDs mit der genehmigten Liste und prüfe ihre Eindeutigkeit, falls eine Zeile pro Fall vereinbart ist.

In einer fiktiven Lieferung aus drei Teildateien besteht die vorgesehene Liste aus case-a und case-b. Beide Ergebnisse sind richtig. Beide Dateianordnungen haben denselben Bestand an Prüfsummen, und jedes getestete Leseprogramm wählt zwei Fälle aus.

Beobachtetes ErgebnisWas geprüft werden muss
Ursprüngliche Lieferung: PyArrow mit URI-Dekodierung wählt case-a und case-bPfadzuordnung und Fallliste stimmen.
Ursprüngliche Lieferung: PyArrow mit wörtlichen Segmenten wählt case-c und case-dDie Dateien liegen an den richtigen Pfaden. Halte die Auswertung wegen der abweichenden Fallliste an.
Vertauschte Teildateien: PyArrow mit URI-Dekodierung wählt case-c und case-dHalte wegen der geänderten Pfadzuordnung und der abweichenden Fallliste an.
Vertauschte Teildateien: PyArrow mit wörtlichen Segmenten wählt case-a und case-bDie Fallliste stimmt. Halte wegen der geänderten Pfadzuordnung an.

In der ursprünglichen Anordnung liest PyArrow 26.0.1 bei URI-Dekodierung split=test%252Fgold als den Partitionswert test%2Fgold. Bei wörtlich gelesenen Pfadsegmenten wählt dieselbe Abfrage den Ordner split=test%2Fgold aus. Dabei ist in der ursprünglichen Anordnung eines von zwei Ergebnissen richtig. DuckDB 1.4.4 mit Hive-Partitionierung liefert in diesem Beispiel bei beiden Dateianordnungen dieselben Ergebnisse wie die URI-Dekodierung.

Wenn die Partition sowohl im Pfad als auch in einer gespeicherten Spalte steht, prüfe beide Angaben. In einem separaten Beispiel mit vier Fällen verursacht das Vertauschen zweier unveränderter Teildateien vier Konflikte. Bei ausdrücklich eingestellter Hive-Partitionierung wählen beide getesteten Leseprogramme die Fälle aus, die in den Pfaden stehen. Wer nur die Spalte liest, verwendet den gespeicherten Wert. Kläre Konflikte anhand der Vereinbarung, bevor du auswertest.

Prüfe bei erlaubtem Umschreiben die Labels anhand der Fall-ID

Vergleiche die umgeschriebenen Daten anhand der dekodierten Werte mit der genehmigten Zuordnung von Fällen zu Labels. In einem separaten fiktiven Beispiel mit acht Zeilen ändern sowohl die Umordnung ganzer Zeilen als auch der Tausch zweier Labels die Dateibytes. Die serialisierten Metadaten am Dateiende bleiben gleich. Der Vergleich nach ID findet bei der Umordnung keine geänderten Labels und beim Tausch zwei. Wenn die Zeilenreihenfolge variieren darf, besteht die Umordnung die Labelprüfung. Der Tausch fällt durch, obwohl Metadaten und Anzahlen je Label gleich sind.

Notiere die Lieferreferenz, das Leseprogramm und den Filter, fehlende oder unerwartete IDs und alle geänderten Zuordnungen. So kann die nächste prüfende Person jede Annahmeentscheidung nachvollziehen.