Nghiên cứu
Cách chấp nhận bộ tệp Parquet để đánh giá
Trước khi công bố điểm, hãy kiểm tra bản bàn giao nào đã đến, công cụ đọc chọn những trường hợp nào và dùng nhãn nào. Chọn cách kiểm tra theo thỏa thuận bàn giao. Một bản cố định có thể yêu cầu đúng tệp ở đúng đường dẫn. Nếu được phép ghi lại, tệp và thứ tự hàng có thể thay đổi miễn là mã trường hợp và nhãn của chúng được giữ nguyên.
Kiểm tra bản bàn giao cố định và các trường hợp được chấm
Đối chiếu mỗi đường dẫn tương đối của tệp Parquet với mã SHA-256 tương ứng. Dùng đúng đường dẫn lúc bàn giao, kể cả ký tự mã hóa bằng dấu phần trăm. Kiểm tra toàn bộ các cặp, gồm cả đường dẫn thiếu và thừa. Chạy bộ lọc chấm điểm bằng công cụ đọc, phiên bản và tùy chọn phân vùng dự kiến. So sánh các mã đọc được với danh sách đã duyệt và kiểm tra tính duy nhất nếu thỏa thuận yêu cầu mỗi trường hợp có một hàng.
Trong bản bàn giao giả định gồm ba phần, danh sách dự kiến là case-a và case-b với hai kết quả đúng. Cả hai cách bố trí có cùng danh sách mã kiểm tra tệp và mỗi công cụ đọc thử đều chọn hai trường hợp.
| Kết quả quan sát | Điều cần xem xét |
|---|---|
| Bản ban đầu, PyArrow giải mã URI chọn case-a và case-b | Cách ghép tệp với đường dẫn và danh sách trường hợp đều khớp. |
| Bản ban đầu, PyArrow đọc nguyên văn đường dẫn chọn case-c và case-d | Cách ghép tệp với đường dẫn khớp. Tạm dừng chấm điểm vì danh sách trường hợp khác. |
| Đổi chỗ các phần tệp, PyArrow giải mã URI chọn case-c và case-d | Tạm dừng chấm điểm vì cả cách ghép tệp với đường dẫn và danh sách trường hợp đều khác. |
| Đổi chỗ các phần tệp, PyArrow đọc nguyên văn đường dẫn chọn case-a và case-b | Danh sách trường hợp khớp. Tạm dừng chấm điểm vì tệp đã đổi đường dẫn. |
Trong cách bố trí ban đầu, PyArrow 26.0.1 khi giải mã URI hiểu split=test%252Fgold là giá trị phân vùng test%2Fgold. Khi đọc nguyên văn từng đoạn đường dẫn, cùng truy vấn đó chọn thư mục tên split=test%2Fgold. Cách đọc nguyên văn cho một kết quả đúng trong hai kết quả ở bản ban đầu. Trong ví dụ này, DuckDB 1.4.4 dùng phân vùng Hive cho kết quả giống cách giải mã URI ở cả hai cách bố trí.
Nếu phân vùng được ghi trong cả đường dẫn và một cột lưu trong tệp, hãy kiểm tra cả hai. Trong ví dụ riêng có bốn trường hợp, đổi chỗ hai phần tệp còn nguyên tạo ra bốn mâu thuẫn. Khi chọn rõ chế độ phân vùng Hive, cả hai công cụ thử nghiệm chọn theo đường dẫn. Khi chỉ đọc cột vật lý, chúng chọn theo phân vùng đã lưu. Giải quyết các mâu thuẫn theo thỏa thuận trước khi chấm điểm.
Kiểm tra nhãn theo mã trường hợp nếu được phép ghi lại tệp
So sánh bản ghi lại với bảng ghép trường hợp và nhãn đã duyệt bằng các giá trị mà công cụ chấm điểm giải mã. Trong một ví dụ giả định khác với tám hàng, đổi thứ tự nguyên hàng và hoán đổi hai nhãn đều làm byte của tệp thay đổi nhưng giữ nguyên siêu dữ liệu đã tuần tự hóa ở cuối tệp. So theo mã cho thấy không có nhãn nào đổi khi chuyển hàng và hai nhãn đổi khi hoán đổi. Nếu được phép đổi thứ tự, cách chuyển hàng qua bước kiểm tra nhãn. Cách hoán đổi không qua bước này dù siêu dữ liệu cuối tệp và số lượng mỗi nhãn vẫn khớp.
Ghi lại thông tin nhận diện bản bàn giao, công cụ đọc và bộ lọc, mã thiếu hoặc ngoài dự kiến và các cặp trường hợp với nhãn đã thay đổi. Nhờ đó người kiểm tra sau có thể làm lại từng bước để xác nhận quyết định.