# วิธีตรวจรับไฟล์ Parquet สำหรับการประเมิน

ก่อนรายงานคะแนน ให้ตรวจว่าได้รับไฟล์ชุดใด โปรแกรมอ่านเลือกกรณีใด และใช้ป้ายกำกับใด เลือกวิธีตรวจตามข้อตกลงการส่งมอบ รุ่นที่กำหนดตายตัวอาจต้องใช้ไฟล์ที่ระบุในพาธที่ระบุ หากอนุญาตให้เขียนใหม่ ไฟล์และลำดับแถวอาจเปลี่ยนได้โดยต้องเก็บรหัสกรณีและป้ายกำกับเดิมไว้

## ตรวจไฟล์ที่ต้องตรงตามที่กำหนดและกรณีที่ใช้คิดคะแนน

จับคู่พาธสัมพัทธ์ของไฟล์ Parquet แต่ละไฟล์กับค่า SHA-256 ใช้พาธตามที่ส่งมอบมา รวมถึงอักขระที่เข้ารหัสแบบเปอร์เซ็นต์ ตรวจคู่ทั้งหมด รวมทั้งพาธที่ขาดหรือเกิน เรียกใช้ตัวกรองคิดคะแนนด้วยโปรแกรมอ่าน รุ่น และตัวเลือกการแบ่งพาร์ทิชันที่จะใช้จริง เทียบรหัสที่อ่านได้กับรายการที่อนุมัติ และตรวจว่ารหัสไม่ซ้ำหากกำหนดให้มีหนึ่งแถวต่อกรณี

ในตัวอย่างสมมติที่ส่งมอบไฟล์สามส่วน รายการที่ต้องการคือ case-a และ case-b ซึ่งให้ผลถูกต้องสองกรณี การจัดไฟล์ทั้งสองแบบมีชุดค่าเช็กซัมเหมือนกัน และโปรแกรมอ่านทุกแบบที่ทดสอบเลือกสองกรณี

| ผลที่พบ | สิ่งที่ต้องตรวจ |
| --- | --- |
| ชุดไฟล์เดิม PyArrow ถอดรหัส URI และเลือก case-a กับ case-b | ทั้งตำแหน่งไฟล์และรายการกรณีตรงตามที่กำหนด |
| ชุดไฟล์เดิม PyArrow อ่านพาธตามตัวอักษรและเลือก case-c กับ case-d | ตำแหน่งไฟล์ตรงตามที่กำหนด พักการคิดคะแนนไว้เพราะกรณีไม่ตรง |
| สลับตำแหน่งไฟล์ PyArrow ถอดรหัส URI และเลือก case-c กับ case-d | พักการคิดคะแนนไว้เพราะทั้งตำแหน่งไฟล์และกรณีไม่ตรง |
| สลับตำแหน่งไฟล์ PyArrow อ่านพาธตามตัวอักษรและเลือก case-a กับ case-b | รายการกรณีตรงตามที่กำหนด พักการคิดคะแนนไว้เพราะตำแหน่งไฟล์เปลี่ยนไป |

ในการจัดไฟล์แบบเดิม PyArrow 26.0.1 ที่ถอดรหัส URI จะแปล `split=test%252Fgold` เป็นค่าพาร์ทิชัน `test%2Fgold` เมื่ออ่านส่วนของพาธตามตัวอักษร คำค้นเดียวกันเลือกโฟลเดอร์ชื่อ `split=test%2Fgold` การอ่านแบบนี้ในชุดไฟล์เดิมให้ผลถูกต้องหนึ่งจากสองกรณี ในตัวอย่างนี้ DuckDB 1.4.4 ที่แบ่งพาร์ทิชันแบบ Hive ให้ผลตรงกับการถอดรหัส URI ในการจัดไฟล์ทั้งสองแบบ

หากระบุพาร์ทิชันไว้ทั้งในพาธและในคอลัมน์ที่เก็บในไฟล์ ให้ตรวจทั้งสองแห่ง ในอีกตัวอย่างหนึ่งที่มีสี่กรณี การสลับตำแหน่งไฟล์สองส่วนโดยไม่แก้เนื้อหาทำให้เกิดข้อมูลขัดกันสี่จุด เมื่อกำหนดให้ใช้พาร์ทิชันแบบ Hive โดยตรง โปรแกรมอ่านทั้งสองเลือกกรณีตามพาธ การอ่านเฉพาะคอลัมน์ในไฟล์ใช้ค่าพาร์ทิชันที่เก็บไว้ ให้แก้ความขัดแย้งตามข้อตกลงก่อนคิดคะแนน

## ตรวจป้ายกำกับตามรหัสกรณีเมื่ออนุญาตให้เขียนไฟล์ใหม่

เปรียบเทียบชุดที่เขียนใหม่กับคู่รหัสกรณีและป้ายกำกับที่อนุมัติ โดยใช้ค่าที่โปรแกรมคิดคะแนนถอดรหัส ในอีกตัวอย่างสมมติที่มีแปดแถว ทั้งการย้ายทั้งแถวและการสลับป้ายกำกับสองรายการทำให้ไบต์ของไฟล์เปลี่ยน แต่ยังเก็บเมทาดาทาแบบซีเรียลไลซ์ที่ท้ายไฟล์เหมือนเดิม เมื่อเทียบตามรหัส การย้ายแถวทำให้ป้ายกำกับเปลี่ยนศูนย์รายการ ส่วนการสลับป้ายกำกับทำให้เปลี่ยนสองรายการ การย้ายแถวผ่านการตรวจป้ายกำกับถ้าเปลี่ยนลำดับได้ การสลับป้ายกำกับไม่ผ่านแม้เมทาดาทาท้ายไฟล์และจำนวนของแต่ละป้ายกำกับจะตรงกัน

บันทึกข้อมูลอ้างอิงชุดไฟล์ โปรแกรมอ่านและตัวกรองที่ใช้คิดคะแนน รหัสที่ขาดหรือเกิน และคู่กรณีกับป้ายกำกับที่เปลี่ยน ผู้ตรวจคนถัดไปจะได้ทำซ้ำเพื่อยืนยันเหตุผลของแต่ละการตัดสินใจ

[ดาวน์โหลดสคริปต์ทดสอบซ้ำและผลที่บันทึกไว้ (ZIP)](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
