# 평가에 쓸 Parquet 납품물을 검수하는 방법

점수를 보고하기 전에 어떤 납품물이 왔는지, 읽기 도구가 어떤 사례를 골랐는지, 어떤 라벨을 썼는지 확인하세요. 납품 계약에 맞춰 검사를 고르세요. 고정된 버전은 정해진 파일이 정해진 경로에 있어야 할 수 있습니다. 다시 쓰기가 허용되면 사례 ID와 라벨을 유지하면서 파일이나 행 순서를 바꿀 수 있습니다.

## 정해진 납품물과 실제로 채점하는 사례를 확인하세요

각 Parquet 상대 경로를 해당 SHA-256과 짝지으세요. 퍼센트 인코딩된 문자까지 납품된 경로를 그대로 쓰세요. 빠지거나 추가된 경로를 포함해 모든 짝을 확인하세요. 실제로 사용할 읽기 도구, 버전, 파티션 설정으로 채점 필터를 실행하세요. 반환된 ID를 승인된 사례 목록과 비교하세요. 사례마다 한 행이 필요하다는 약속이 있다면 ID가 중복되지 않는지도 확인하세요.

세 조각으로 나뉜 가상의 납품물에서 예상 목록은 case-a와 case-b이며 결과는 둘 다 맞습니다. 두 가지 파일 배치의 체크섬 목록은 같고, 테스트한 읽기 도구는 모두 사례 두 건을 고릅니다.

| 관찰된 결과 | 확인할 항목 |
| --- | --- |
| 원래 납품물에서 PyArrow로 URI를 디코딩하면 case-a와 case-b를 고름 | 경로와 파일의 짝, 사례 목록이 모두 맞습니다. |
| 원래 납품물에서 PyArrow로 경로를 적힌 그대로 읽으면 case-c와 case-d를 고름 | 경로와 파일의 짝은 맞습니다. 사례 목록이 달라 채점을 보류하세요. |
| 조각 위치를 바꾸고 PyArrow로 URI를 디코딩하면 case-c와 case-d를 고름 | 경로와 파일의 짝이 바뀌고 사례 목록도 달라 채점을 보류하세요. |
| 조각 위치를 바꾸고 PyArrow로 경로를 적힌 그대로 읽으면 case-a와 case-b를 고름 | 사례 목록은 맞습니다. 경로와 파일의 짝이 바뀌어 채점을 보류하세요. |

원래 배치에서 URI를 디코딩하는 PyArrow 26.0.1은 `split=test%252Fgold`를 파티션 값 `test%2Fgold`로 읽습니다. 경로 조각을 적힌 그대로 읽으면 같은 쿼리가 `split=test%2Fgold` 폴더를 고릅니다. 원래 배치에서 적힌 그대로 읽었을 때는 두 결과 중 한 건이 맞습니다. 이 예에서 Hive 파티션을 쓰는 DuckDB 1.4.4는 두 배치 모두 URI를 디코딩한 결과와 같습니다.

경로와 파일에 저장된 열이 모두 파티션을 표시한다면 두 곳을 확인하세요. 사례 네 건이 있는 별도 예에서 내용이 그대로인 파일 조각 두 개의 위치를 바꾸면 네 건이 충돌합니다. Hive 파티션을 명시하면 테스트한 읽기 도구 두 개 모두 경로에 표시된 사례를 고릅니다. 파일의 물리적 열만 읽으면 거기에 저장된 파티션을 사용합니다. 채점하기 전에 계약에 따라 충돌을 해결하세요.

## 다시 쓰기가 허용되면 사례 ID로 라벨을 확인하세요

채점 도구가 디코딩한 값으로 다시 쓴 결과를 승인된 사례와 라벨의 짝과 비교하세요. 별도의 가상 예에서는 행 여덟 개가 있습니다. 행을 통째로 재배치할 때와 라벨 두 개를 맞바꿀 때 모두 파일의 바이트는 바뀌고, 끝부분에 직렬화한 메타데이터는 같습니다. ID로 비교하면 행을 재배치했을 때는 바뀐 라벨이 없고 라벨을 맞바꿨을 때는 두 개가 바뀝니다. 행 순서 변경이 허용되면 재배치는 라벨 검사에 통과합니다. 라벨 교환은 끝부분 메타데이터와 라벨별 건수가 같아도 통과하지 못합니다.

납품물을 식별할 정보, 채점에 쓴 읽기 도구와 필터, 빠지거나 예상 밖인 ID, 바뀐 사례와 라벨의 짝을 기록하세요. 다음 검토자가 각 검수 판단을 다시 확인할 수 있습니다.

[재현 스크립트와 저장된 결과 다운로드(ZIP)](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
