Pananaliksik
Paano tumanggap ng mga Parquet file para sa pagsusuri
Bago mag-ulat ng marka, alamin kung aling bersiyon ang dumating, aling mga kaso ang pinili ng software na nagbabasa ng file, at aling mga label ang ginamit nito. Iayon ang mga pagsusuri sa napagkasunduan. Maaaring kailangang nasa eksaktong path ang eksaktong file sa isang takdang bersiyon. Kung pinapayagang muling isulat ang mga file, maaaring magbago ang mga file at ayos ng mga row basta pareho ang case ID at label.
Suriin ang takdang bersiyon at ang mga kasong bibigyan ng marka
Itugma ang bawat relative path ng Parquet sa SHA-256 nito. Gamitin ang path gaya ng ipinadala, pati ang mga character na may percent encoding. Suriin ang lahat ng pagtutugma, pati ang nawawala o sobrang path. Patakbuhin ang filter sa pagmamarka gamit ang napiling reader, bersiyon at mga setting ng partition. Ihambing ang nabasang ID sa aprubadong listahan at tiyaking walang dobleng ID kung isang row bawat kaso ang napagkasunduan.
Sa isang kathang-isip na pagpapadala na may tatlong bahagi, case-a at case-b ang nasa inaasahang listahan, na may dalawang tamang resulta. Magkapareho ang listahan ng mga checksum ng file sa dalawang ayos. Dalawang kaso ang pinipili ng bawat reader na sinubukan.
| Nakuhang resulta | Ano ang kailangang suriin |
|---|---|
| Orihinal na bersiyon, pinipili ng PyArrow na may URI decoding ang case-a at case-b | Parehong tama ang pagtutugma ng file sa path at ang listahan ng mga kaso. |
| Orihinal na bersiyon, pinipili ng PyArrow na literal ang pagbasa ng path ang case-c at case-d | Tama ang pagtutugma sa path. Ipagpaliban ang pagmamarka dahil iba ang listahan ng mga kaso. |
| Pinagpalit ang puwesto ng mga bahagi, pinipili ng PyArrow na may URI decoding ang case-c at case-d | Ipagpaliban ang pagmamarka dahil nagbago ang pagtutugma ng file sa path at iba ang listahan ng mga kaso. |
| Pinagpalit ang puwesto ng mga bahagi, pinipili ng PyArrow na literal ang pagbasa ng path ang case-a at case-b | Tama ang listahan ng mga kaso. Ipagpaliban ang pagmamarka dahil nagbago ang pagtutugma ng file sa path. |
Sa orihinal na ayos, binabasa ng PyArrow 26.0.1 na may URI decoding ang split=test%252Fgold bilang partition value na test%2Fgold. Kapag binasa nang literal ang mga bahagi ng path, pinipili ng parehong query ang folder na split=test%2Fgold. Sa orihinal na bersiyon, isang resulta sa dalawa ang tama sa literal na pagbasa. Sa halimbawang ito, pareho ang resulta ng DuckDB 1.4.4 na may Hive partitioning at ng pagbasa na may URI decoding sa dalawang ayos.
Kung nakatala ang partition sa path at sa isang nakaimbak na column, suriin ang dalawa. Sa hiwalay na halimbawa na may apat na kaso, apat ang hindi tugma kapag pinagpalit ang puwesto ng dalawang buo at hindi binagong bahagi. Kapag tahasang pinili ang Hive partitioning, sinusunod ng dalawang reader ang mga path. Kung pisikal na column lang ang binabasa, sinusunod ang nakaimbak na partition. Ayusin ang mga hindi tugma ayon sa napagkasunduan bago magmarka.
Suriin ang label ayon sa case ID kung puwedeng muling isulat ang mga file
Ihambing ang muling isinulat na bersiyon sa aprubadong pagtutugma ng kaso at label gamit ang mga value na binasa at binigyang-kahulugan ng software sa pagmamarka. Sa hiwalay na kathang-isip na halimbawa na may walong row, parehong nagbabago ang bytes ng file kapag inilipat ang buong mga row o pinagpalit ang dalawang label. Pareho pa rin ang naka-serialize na metadata sa hulihan ng file. Sa paghahambing ayon sa ID, walang binagong label sa paglipat ng mga row at dalawa sa pagpapalit ng label. Pumapasa ang paglipat kung puwedeng magbago ang ayos. Bagsak ang pagpapalit ng label kahit pareho ang metadata sa hulihan at ang bilang ng bawat label.
Itala ang reperensiya ng natanggap na bersiyon, ang reader at filter sa pagmamarka, ang nawawala o di-inaasahang ID, at ang mga nabagong pagtutugma ng kaso at label. Magagamit ito ng susunod na tagasuri para ulitin ang batayan ng bawat desisyon.