# איך מקבלים מסירת Parquet לצורך הערכה?

לפני שמדווחים על ציון, בדקו איזו מסירה הגיעה, אילו מקרים בחרה תוכנת הקריאה ובאילו תוויות השתמשה. בחרו את הבדיקות לפי הסכם המסירה. גרסה קבועה עשויה לדרוש קבצים מסוימים בנתיבים מסוימים. אם מותר לכתוב מחדש, אפשר לשנות את הקבצים ואת סדר השורות כל עוד מזהי המקרים והתוויות נשמרים.

## בדקו את המסירה הקבועה ואת המקרים שנכנסים לציון

התאימו לכל נתיב Parquet יחסי את ערך ה־SHA-256 שלו. השתמשו בנתיב בדיוק כפי שנמסר, כולל תווים בקידוד אחוזים. בדקו את מלוא ההתאמה, כולל נתיבים חסרים ומיותרים. הפעילו את מסנן חישוב הציונים עם תוכנת הקריאה, הגרסה ואפשרויות החלוקה המתוכננות. השוו את המזהים שהתקבלו לרשימה שאושרה ובדקו שהם ייחודיים אם ההסכם דורש שורה אחת לכל מקרה.

במסירה מדומה שמורכבת משלושה חלקים, הרשימה הצפויה היא case-a וגם case-b, עם שתי תוצאות נכונות. לשני סידורי הקבצים אותה רשימה של ערכי ביקורת לקבצים, וכל תוכנת קריאה שנבדקה בוחרת שני מקרים.

| תוצאה שנצפתה | מה צריך לבדוק |
| --- | --- |
| מסירה מקורית, PyArrow עם פענוח URI בוחר case-a וגם case-b | גם שיוך הקבצים לנתיבים וגם רשימת המקרים תואמים. |
| מסירה מקורית, PyArrow קורא את חלקי הנתיב כפי שנכתבו ובוחר case-c וגם case-d | שיוך הקבצים לנתיבים תואם. השהו את חישוב הציונים כי רשימת המקרים שונה. |
| אחרי החלפת מיקומי החלקים, PyArrow עם פענוח URI בוחר case-c וגם case-d | השהו את חישוב הציונים כי שיוך הקבצים לנתיבים השתנה וגם רשימת המקרים שונה. |
| אחרי החלפת מיקומי החלקים, PyArrow קורא את חלקי הנתיב כפי שנכתבו ובוחר case-a וגם case-b | רשימת המקרים תואמת. השהו את חישוב הציונים כי שיוך הקבצים לנתיבים השתנה. |

בסידור המקורי, PyArrow 26.0.1 עם פענוח URI קורא את `split=test%252Fgold` כערך החלוקה `test%2Fgold`. כאשר קוראים את חלקי הנתיב כפי שנכתבו, אותה שאילתה בוחרת את התיקייה ששמה `split=test%2Fgold`. קריאה כזו במסירה המקורית נותנת תוצאה נכונה אחת מתוך שתיים. בדוגמה הזו, DuckDB 1.4.4 עם חלוקה לפי Hive נותן את אותה התוצאה כמו פענוח URI בשני הסידורים.

אם החלוקה מופיעה גם בנתיב וגם בעמודה השמורה בקובץ, בדקו את שני המקומות. בדוגמה נפרדת עם ארבעה מקרים, החלפת מיקום של שני חלקים שלמים יוצרת ארבע סתירות. כשבוחרים במפורש חלוקה לפי Hive, שתי תוכנות הקריאה שנבדקו בוחרות את המקרים לפי הנתיבים. כשקוראים רק את העמודה שבקובץ, משתמשים בערך החלוקה השמור בה. פתרו את הסתירות לפי ההסכם לפני חישוב הציון.

## בדקו תוויות לפי מזהה מקרה אם מותר לכתוב את הקבצים מחדש

השוו את הקבצים שנכתבו מחדש להתאמה שאושרה בין מקרים לתוויות, לפי הערכים שתוכנת חישוב הציונים פענחה. בדוגמה מדומה נפרדת עם שמונה שורות, גם שינוי סדרן של שורות שלמות וגם החלפה בין שתי תוויות משנים את הבתים בקובץ ומשמרים מטא־נתונים זהים שנכתבו ברצף בסוף הקובץ. השוואה לפי מזהה מוצאת אפס תוויות שהשתנו אחרי סידור מחדש של השורות ושתיים אחרי החלפת התוויות. אם מותר לשנות את הסדר, סידור מחדש עובר את בדיקת התוויות. החלפת תוויות נכשלת גם כשהמטא־נתונים בסוף הקובץ והכמות של כל תווית זהים.

תעדו את ההפניה למסירה, את תוכנת הקריאה והמסנן, את המזהים החסרים או הלא צפויים ואת ההתאמות שהשתנו בין מקרים לתוויות. כך מי שיבדוק אחריכם יוכל לחזור על הבדיקות שעומדות מאחורי כל החלטת קבלה.

[הורדת סקריפטים להרצה חוזרת ותוצאות שמורות (ZIP)](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
