Badania
Jak przyjąć dostawę plików Parquet do oceny
Przed podaniem wyniku sprawdź, która dostawa dotarła, które przypadki wybrał program i jakich etykiet użył. Dobierz kontrole do umowy dostawy. Ustalona wersja może wymagać konkretnych plików w konkretnych ścieżkach. Dozwolony ponowny zapis może zmienić pliki i kolejność wierszy, o ile zachowa ID przypadków i ich etykiety.
Sprawdź ustaloną dostawę i oceniane przypadki
Powiąż każdą względną ścieżkę Parquet z jej sumą SHA-256. Zachowaj ścieżkę w dostarczonej postaci, łącznie ze znakami kodowanymi procentowo. Sprawdź pełne przypisanie, w tym brakujące i dodatkowe ścieżki. Uruchom filtr oceniania z docelowym programem, wersją i opcjami partycjonowania. Porównaj odczytane ID z zatwierdzoną listą i sprawdź ich unikalność, jeśli umowa wymaga jednego wiersza na przypadek.
W fikcyjnej dostawie z trzech części oczekiwane przypadki to case-a i case-b z dwoma poprawnymi wynikami. Oba układy mają ten sam zestaw sum kontrolnych plików, a każdy badany program wybiera dwa przypadki.
| Zaobserwowany wynik | Co wymaga sprawdzenia |
|---|---|
| Pierwotna dostawa, PyArrow z dekodowaniem URI wybiera case-a i case-b | Przypisanie ścieżek i lista przypadków są zgodne. |
| Pierwotna dostawa, PyArrow odczytuje ścieżki dosłownie i wybiera case-c i case-d | Przypisanie ścieżek jest zgodne. Wstrzymaj ocenę z powodu innej listy przypadków. |
| Zamienione części, PyArrow z dekodowaniem URI wybiera case-c i case-d | Wstrzymaj ocenę z powodu zmienionego przypisania plików do ścieżek i innej listy przypadków. |
| Zamienione części, PyArrow odczytuje ścieżki dosłownie i wybiera case-a i case-b | Lista przypadków jest zgodna. Wstrzymaj ocenę z powodu zmienionego przypisania plików do ścieżek. |
W pierwotnym układzie PyArrow 26.0.1 z dekodowaniem URI odczytuje split=test%252Fgold jako wartość partycji test%2Fgold. Przy dosłownym odczycie ścieżki to samo zapytanie wybiera folder split=test%2Fgold. Dosłowny odczyt pierwotnej dostawy daje jeden poprawny wynik z dwóch. W tym przykładzie DuckDB 1.4.4 z partycjonowaniem Hive daje wynik zgodny z dekodowaniem URI w obu układach.
Jeśli dostawa określa partycję w ścieżce i w zapisanej kolumnie, sprawdź obie informacje. W osobnym przykładzie z czterema przypadkami zamiana miejscami dwóch niezmienionych części powoduje cztery konflikty. Przy jawnie wybranym partycjonowaniu Hive oba programy wybierają przypadki według ścieżek. Odczyt wyłącznie fizycznej kolumny używa zapisanej partycji. Wyjaśnij konflikty zgodnie z umową przed oceną.
Sprawdź etykiety według ID, jeśli wolno przepisać pliki
Porównaj przepisane dane z zatwierdzonym przypisaniem etykiet do przypadków, używając wartości zdekodowanych przez program oceniający. W innym fikcyjnym przykładzie z ośmioma wierszami zarówno przestawienie całych wierszy, jak i zamiana dwóch etykiet zmieniają bajty pliku i zachowują takie same serializowane metadane w stopce. Porównanie według ID wykazuje zero zmian etykiet po przestawieniu i dwie po zamianie. Gdy kolejność może się zmieniać, przestawienie przechodzi kontrolę. Zamiana jej nie przechodzi mimo zgodnych stopek i liczebności etykiet.
Zapisz identyfikator dostawy, program i filtr oceniania, brakujące lub nieoczekiwane ID oraz zmienione przypisania etykiet. Dzięki temu kolejna osoba może odtworzyć każdą decyzję o przyjęciu.