أبحاث
كيف تقبل دفعة ملفات Parquet للتقييم؟
قبل الإبلاغ عن الدرجة، تحقّق من الدفعة التي وصلت والحالات التي اختارها برنامج القراءة والتسميات التي استخدمها. اختر الفحوص وفق اتفاق التسليم. قد يشترط الإصدار الثابت وجود ملفات بعينها في مسارات بعينها. وإذا كانت إعادة الكتابة مسموحة، فقد تتغير الملفات وترتيب الصفوف مع الحفاظ على معرّفات الحالات وتسمياتها.
تحقّق من الدفعة المحددة والحالات التي تدخل في التقييم
اربط كل مسار نسبي لملف Parquet بقيمة SHA-256 الخاصة به. استخدم المسار كما ورد، بما في ذلك المحارف المرمّزة بعلامة النسبة المئوية. تحقّق من كل عمليات الربط، بما في ذلك المسارات الناقصة أو الزائدة. شغّل مرشّح التقييم باستخدام برنامج القراءة والإصدار وخيارات التقسيم المزمع استخدامها. قارن المعرّفات الناتجة بالقائمة المعتمدة، وتأكّد من عدم تكرارها إذا اشترط الاتفاق صفًا واحدًا لكل حالة.
في مثال افتراضي لدفعة من ثلاثة أجزاء، تضم القائمة المتوقعة case-a وcase-b، والنتيجتان صحيحتان. يحتوي الترتيبان على قائمة قيم التحقق نفسها، وكل برنامج قراءة جرى اختباره يختار حالتين.
| النتيجة الملحوظة | ما الذي يحتاج إلى التحقق؟ |
|---|---|
الدفعة الأصلية، يفك PyArrow ترميز URI ويختار case-a وcase-b | يتطابق ربط الملفات بالمسارات وتتطابق قائمة الحالات. |
الدفعة الأصلية، يقرأ PyArrow أجزاء المسار حرفيًا ويختار case-c وcase-d | ربط الملفات بالمسارات صحيح. أوقف احتساب الدرجات مؤقتًا لأن قائمة الحالات مختلفة. |
بعد تبديل مواضع الأجزاء، يفك PyArrow ترميز URI ويختار case-c وcase-d | أوقف احتساب الدرجات مؤقتًا لأن ربط الملفات بالمسارات تغيّر ولأن قائمة الحالات مختلفة. |
بعد تبديل مواضع الأجزاء، يقرأ PyArrow أجزاء المسار حرفيًا ويختار case-a وcase-b | قائمة الحالات صحيحة. أوقف احتساب الدرجات مؤقتًا لأن ربط الملفات بالمسارات تغيّر. |
في الترتيب الأصلي، يفسّر PyArrow 26.0.1 عند فك ترميز URI المسار split=test%252Fgold على أنه قيمة التقسيم test%2Fgold. وعند قراءة أجزاء المسار حرفيًا، يختار الاستعلام نفسه المجلد المسمّى split=test%2Fgold. تعطي القراءة الحرفية للدفعة الأصلية نتيجة صحيحة من اثنتين. في هذا المثال، يعطي DuckDB 1.4.4 مع تقسيم Hive النتيجة نفسها التي تعطيها قراءة URI بعد فك الترميز في كلا الترتيبين.
إذا حُدّد القسم في المسار وفي عمود مخزّن في الملف، فتحقّق من الموضعين. في مثال آخر يضم أربع حالات، يؤدي تبديل موضعي جزأين من دون تغيير محتواهما إلى أربعة تعارضات. عند اختيار تقسيم Hive صراحةً، يختار البرنامجان اللذان اختُبرا الحالات المحددة في المسارات. وعند قراءة العمود المخزّن وحده، تُستخدم قيمة التقسيم المسجّلة فيه. عالج التعارضات وفق الاتفاق قبل احتساب الدرجات.
تحقّق من التسميات حسب معرّف الحالة إذا سُمح بإعادة الكتابة
قارن الملفات المعاد كتابتها بالربط المعتمد بين الحالات والتسميات، مستخدمًا القيم التي يفك برنامج التقييم ترميزها. في مثال افتراضي آخر يضم ثمانية صفوف، يؤدي كل من نقل الصفوف كاملة وتبادل تسميتين إلى تغيير بايتات الملف مع الإبقاء على البيانات الوصفية نفسها بصيغتها المتسلسلة في نهاية الملف. تُظهر المقارنة بالمعرّف أن نقل الصفوف لم يغيّر أي تسمية، وأن التبادل غيّر تسميتين. ينجح نقل الصفوف في فحص التسميات عندما يكون تغيير الترتيب مسموحًا. ويفشل تبديل التسميات حتى إذا تطابقت البيانات الوصفية في نهاية الملف وأعداد التسميات.
سجّل مرجع الدفعة، وبرنامج القراءة والمرشّح، والمعرّفات الناقصة أو غير المتوقعة، وأي تغيّر في ربط الحالات بالتسميات. يتيح ذلك للمراجع التالي إعادة الفحوص التي بُني عليها كل قرار قبول.