Lewati ke konten utama

Menu

Riset

Cara menerima kiriman Parquet untuk evaluasi

Bahasa: Bahasa Indonesia

Sebelum melaporkan skor, periksa kiriman yang diterima, kasus yang dipilih perangkat pembaca, dan label yang dipakai. Pilih pemeriksaan sesuai kesepakatan pengiriman. Untuk rilis tetap, berkas tertentu mungkin harus ada di jalur tertentu. Jika penulisan ulang diizinkan, berkas dan urutan baris boleh berubah asalkan ID kasus dan labelnya tetap sama.

Periksa kiriman tetap dan kasus yang dinilai

Pasangkan setiap jalur relatif Parquet dengan SHA-256-nya. Gunakan jalur persis seperti yang diterima, termasuk karakter dengan penyandian persen. Periksa semua pasangan, termasuk jalur yang hilang dan berlebih. Jalankan filter penilaian dengan pembaca, versi, dan opsi partisi yang direncanakan. Bandingkan ID yang dibaca dengan daftar yang disetujui dan periksa bahwa ID unik jika kesepakatan mensyaratkan satu baris per kasus.

Dalam kiriman rekaan dengan tiga bagian, daftar yang diharapkan berisi case-a dan case-b dengan dua hasil benar. Kedua susunan memiliki daftar checksum berkas yang sama dan setiap pembaca yang diuji memilih dua kasus.

Hasil yang diamatiHal yang perlu diperiksa
Kiriman asli, PyArrow yang mendekode URI memilih case-a dan case-bPasangan jalur dan daftar kasus sama-sama cocok.
Kiriman asli, PyArrow yang membaca bagian jalur apa adanya memilih case-c dan case-dPasangan jalur cocok. Tunda penilaian karena daftar kasus tidak cocok.
Bagian ditukar, PyArrow yang mendekode URI memilih case-c dan case-dTunda penilaian karena pasangan jalur dan daftar kasus berbeda.
Bagian ditukar, PyArrow yang membaca bagian jalur apa adanya memilih case-a dan case-bDaftar kasus cocok. Tunda penilaian karena pasangan jalur dan berkas berubah.

Pada susunan asli, PyArrow 26.0.1 yang mendekode URI membaca split=test%252Fgold sebagai nilai partisi test%2Fgold. Jika bagian jalur dibaca apa adanya, kueri yang sama memilih folder bernama split=test%2Fgold. Pada kiriman asli, cara baca apa adanya menghasilkan satu hasil benar dari dua. Dalam contoh ini DuckDB 1.4.4 dengan partisi Hive cocok dengan pembacaan yang mendekode URI pada kedua susunan.

Jika kiriman mencatat partisi di jalur dan di kolom fisik, periksa keduanya. Pada contoh lain dengan empat kasus, menukar posisi dua bagian utuh menimbulkan empat pertentangan. Saat partisi Hive dipilih secara eksplisit, kedua pembaca yang diuji memilih kasus berdasarkan jalur. Pembacaan yang hanya memakai kolom fisik mengikuti nilai partisi yang tersimpan. Selesaikan pertentangan sesuai kesepakatan sebelum menilai.

Periksa label berdasarkan ID kasus jika penulisan ulang diizinkan

Bandingkan hasil tulis ulang dengan pasangan kasus dan label yang disetujui, menggunakan nilai yang didekode perangkat penilaian. Dalam contoh rekaan lain dengan delapan baris, memindahkan baris utuh dan menukar dua label sama-sama mengubah byte berkas dan mempertahankan metadata terserialisasi yang identik di akhir berkas. Perbandingan berdasarkan ID menemukan nol label berubah setelah pengurutan ulang dan dua setelah pertukaran. Pengurutan ulang lolos pemeriksaan label bila urutan boleh berubah. Pertukaran gagal walaupun metadata akhir dan jumlah per label sama.

Catat rujukan kiriman, pembaca dan filter penilaian, ID yang hilang atau tidak terduga, serta perubahan pasangan kasus dan label. Pemeriksa berikutnya dapat mengulang pemeriksaan di balik setiap keputusan penerimaan.