शोध
मूल्यांकन के लिए Parquet फ़ाइलों की डिलीवरी कैसे स्वीकार करें
स्कोर बताने से पहले देखें कि कौन-सी डिलीवरी मिली, पढ़ने वाले सॉफ़्टवेयर ने कौन-से मामले चुने और किन लेबल का इस्तेमाल किया। डिलीवरी के समझौते के अनुसार जाँच चुनें। तय संस्करण में ठीक वही फ़ाइलें ठीक उन्हीं पाथ पर चाहिए हो सकती हैं। दोबारा लिखने की अनुमति हो तो फ़ाइलें और पंक्तियों का क्रम बदल सकते हैं, बशर्ते मामलों की आईडी और उनके लेबल वही रहें।
तय डिलीवरी और स्कोर में शामिल मामलों की जाँच करें
हर सापेक्ष Parquet पाथ को उसके SHA-256 से मिलाएँ। पाथ ठीक वैसे ही रखें जैसे वे मिले, प्रतिशत चिह्न से एन्कोड किए गए अक्षरों समेत। सभी जोड़ियों और गायब या अतिरिक्त पाथ की जाँच करें। स्कोर फ़िल्टर को उसी रीडर, संस्करण और पार्टिशन सेटिंग के साथ चलाएँ जिसका इस्तेमाल होना है। मिली आईडी की तुलना मंज़ूर सूची से करें। अगर समझौते में हर मामले के लिए एक पंक्ति चाहिए, तो देखें कि आईडी दोहराई न गई हों।
तीन हिस्सों वाली एक काल्पनिक डिलीवरी की तय सूची में case-a और case-b हैं और दोनों नतीजे सही हैं। फ़ाइलों के चेकसम की सूची दोनों व्यवस्थाओं में एक जैसी है और हर परीक्षित रीडर दो मामले चुनता है।
| जाँच में मिला नतीजा | किस बात पर ध्यान दें |
|---|---|
| मूल डिलीवरी में URI डिकोड करने वाला PyArrow case-a और case-b चुनता है | फ़ाइलों के पाथ और मामलों की सूची, दोनों मेल खाते हैं। |
| मूल डिलीवरी में पाथ को ज्यों का त्यों पढ़ने वाला PyArrow case-c और case-d चुनता है | फ़ाइलों के पाथ मेल खाते हैं। मामले अलग होने के कारण स्कोर निकालना रोकें। |
| हिस्सों की जगह बदलने पर URI डिकोड करने वाला PyArrow case-c और case-d चुनता है | पाथ पर रखी फ़ाइलें बदल गई हैं और मामले अलग हैं। स्कोर निकालना रोकें। |
| हिस्सों की जगह बदलने पर पाथ को ज्यों का त्यों पढ़ने वाला PyArrow case-a और case-b चुनता है | मामले मेल खाते हैं। पाथ पर रखी फ़ाइलें बदल गई हैं, इसलिए स्कोर निकालना रोकें। |
मूल व्यवस्था में URI डिकोड करने वाला PyArrow 26.0.1, split=test%252Fgold को पार्टिशन मान test%2Fgold के रूप में पढ़ता है। पाथ के हिस्से जैसे लिखे हैं वैसे पढ़ने पर वही क्वेरी split=test%2Fgold नाम का फ़ोल्डर चुनती है। मूल डिलीवरी में ऐसे पढ़ने पर दो में से एक नतीजा सही मिलता है। इस उदाहरण में Hive पार्टिशनिंग वाला DuckDB 1.4.4 दोनों व्यवस्थाओं में URI डिकोड करने वाली जाँच जैसा नतीजा देता है।
अगर पार्टिशन की जानकारी पाथ और फ़ाइल में मौजूद किसी कॉलम, दोनों में है तो दोनों जाँचें। चार मामलों के अलग उदाहरण में, बिना बदले हुए दो हिस्सों की जगह आपस में बदलने से चार टकराव होते हैं। Hive पार्टिशनिंग साफ़ तौर पर चुनने पर दोनों रीडर पाथ के हिसाब से मामले चुनते हैं। सिर्फ़ फ़ाइल के कॉलम से पढ़ने पर उसमें रखा पार्टिशन इस्तेमाल होता है। स्कोर निकालने से पहले समझौते के अनुसार टकराव सुलझाएँ।
फ़ाइलें दोबारा लिखने की अनुमति हो तो मामले की आईडी से लेबल जाँचें
मामलों और लेबल की मंज़ूर जोड़ियों से दोबारा लिखी गई फ़ाइल की तुलना करें। स्कोर निकालने वाला सॉफ़्टवेयर जिन मानों को डिकोड करता है, उन्हीं का इस्तेमाल करें। आठ पंक्तियों के एक अलग काल्पनिक उदाहरण में, पूरी पंक्तियों की जगह बदलने और दो लेबल की अदला-बदली, दोनों से फ़ाइल के बाइट बदलते हैं। फ़ाइल के अंत में सीरियलाइज़ किया गया मेटाडेटा एक जैसा रहता है। आईडी से तुलना करने पर पंक्तियाँ बदलने से शून्य और लेबल बदलने से दो लेबल बदलते हैं। अगर पंक्तियों का क्रम बदल सकता है तो पंक्तियाँ हटाए बिना क्रम बदलना लेबल की जाँच में पास होता है। लेबल की अदला-बदली जाँच में फ़ेल होती है, भले ही अंतिम मेटाडेटा और हर लेबल की संख्या समान हो।
डिलीवरी का संदर्भ, स्कोर निकालने का रीडर और फ़िल्टर, गायब या अनपेक्षित आईडी, और मामलों व लेबल की बदली जोड़ियाँ दर्ज करें। इससे अगला समीक्षक हर स्वीकृति के पीछे की जाँच दोहरा सकता है।