Penyelidikan
Cara menerima serahan Parquet untuk penilaian
Sebelum melaporkan skor, semak serahan yang sampai, kes yang dipilih pembaca dan label yang digunakan. Pilih semakan berdasarkan perjanjian serahan. Keluaran tetap mungkin memerlukan fail tertentu pada laluan tertentu. Penulisan semula yang dibenarkan boleh mengubah fail dan susunan baris selagi ID kes dan labelnya dikekalkan.
Semak serahan tetap dan kes yang dinilai
Padankan setiap laluan relatif Parquet dengan SHA-256-nya. Gunakan laluan seperti yang dihantar, termasuk aksara berkod peratus. Semak semua padanan termasuk laluan yang hilang atau berlebihan. Jalankan penapis pemarkahan dengan pembaca, versi dan pilihan pembahagian yang dimaksudkan. Bandingkan ID yang diterima dengan senarai yang diluluskan dan pastikan ID unik jika perjanjian menetapkan satu baris bagi setiap kes.
Dalam serahan rekaan dengan tiga bahagian, senarai yang dijangka ialah case-a dan case-b, dengan dua hasil yang betul. Kedua-dua susunan mempunyai inventori jumlah semak fail yang sama dan setiap pembaca yang diuji memilih dua kes.
| Hasil yang diperhatikan | Perkara yang perlu disemak |
|---|---|
| Serahan asal, PyArrow dengan penyahkodan URI memilih case-a dan case-b | Padanan laluan dan senarai kes betul. |
| Serahan asal, PyArrow membaca segmen laluan sebagaimana tertulis dan memilih case-c dan case-d | Padanan laluan betul. Tangguhkan pemarkahan kerana senarai kes berbeza. |
| Bahagian ditukar tempat, PyArrow dengan penyahkodan URI memilih case-c dan case-d | Tangguhkan pemarkahan kerana padanan laluan berubah dan senarai kes berbeza. |
| Bahagian ditukar tempat, PyArrow membaca segmen laluan sebagaimana tertulis dan memilih case-a dan case-b | Senarai kes betul. Tangguhkan pemarkahan kerana padanan laluan berubah. |
Dalam susunan asal, PyArrow 26.0.1 dengan penyahkodan URI mentafsir split=test%252Fgold sebagai nilai petak data test%2Fgold. Jika segmen laluan dibaca sebagaimana tertulis, pertanyaan yang sama memilih folder bernama split=test%2Fgold. Bacaan ini memberi satu hasil yang betul daripada dua dalam serahan asal. Dalam contoh ini, DuckDB 1.4.4 dengan pembahagian Hive sepadan dengan penyahkodan URI bagi kedua-dua susunan.
Jika serahan menyatakan petak data dalam laluan dan lajur fizikal, semak kedua-duanya. Dalam contoh lain dengan empat kes, pertukaran kedudukan dua bahagian yang tidak diubah menghasilkan empat percanggahan. Apabila pembahagian Hive ditetapkan dengan jelas, kedua-dua pembaca yang diuji memilih kes mengikut laluan. Bacaan yang menggunakan lajur fizikal sahaja mengikut nilai yang disimpan. Selesaikan percanggahan berdasarkan perjanjian sebelum membuat pemarkahan.
Semak label mengikut ID kes jika penulisan semula dibenarkan
Bandingkan hasil penulisan semula dengan padanan kes dan label yang diluluskan, menggunakan nilai yang dinyahkod oleh perisian pemarkahan. Dalam contoh rekaan lain dengan lapan baris, menyusun semula baris lengkap dan menukar dua label sama-sama mengubah bait fail sambil mengekalkan metadata bersiri yang sama di hujung fail. Perbandingan mengikut ID mendapati tiada label berubah apabila baris disusun semula dan dua berubah apabila label ditukar. Susunan baharu lulus semakan label jika perubahan susunan dibenarkan. Pertukaran label gagal walaupun metadata hujung dan jumlah setiap label sama.
Catat rujukan serahan, pembaca dan penapis, ID yang hilang atau di luar jangkaan serta padanan yang berubah. Ini membolehkan penyemak seterusnya mengulangi semakan untuk setiap keputusan penerimaan.