# 如何验收用于评估的 Parquet 交付件

报告分数之前，先确认收到的是哪个交付版本、读取工具选了哪些案例、用了哪些标签。按照交付协议选择检查项目。固定版本可能要求指定文件位于指定路径。允许重写时，可以改变文件和行顺序，但要保留案例 ID 和标签。

## 核对固定交付件和实际评分的案例

将每个 Parquet 相对路径与对应的 SHA-256 配对。沿用交付时的路径写法，包括百分号编码的字符。核对所有对应关系，查看是否有缺少或多出的路径。使用计划采用的读取工具、版本和分区选项运行评分筛选。把返回的 ID 与批准的清单比较。如果协议要求每个案例只有一行，还要检查 ID 是否唯一。

在一份包含三个分片的虚构交付件中，预期案例是 case-a 和 case-b，两个结果都正确。两种摆放方式的文件校验和清单相同，每个测试过的读取工具也都选出两个案例。

| 观察结果 | 需要核对的条件 |
| --- | --- |
| 原始交付，PyArrow 解码 URI，选中 case-a 和 case-b | 路径和文件的对应关系正确，案例清单也一致。 |
| 原始交付，PyArrow 按字面读取路径片段，选中 case-c 和 case-d | 路径和文件的对应关系正确。案例清单不一致，暂停评分。 |
| 分片互换，PyArrow 解码 URI，选中 case-c 和 case-d | 路径和文件的对应关系已改变，案例清单也不一致，暂停评分。 |
| 分片互换，PyArrow 按字面读取路径片段，选中 case-a 和 case-b | 案例清单一致。路径和文件的对应关系已改变，暂停评分。 |

在原始摆放方式中，PyArrow 26.0.1 解码 URI 时，将 `split=test%252Fgold` 读为分区值 `test%2Fgold`。如果按字面读取路径片段，同一个查询会选中名为 `split=test%2Fgold` 的目录。在原始交付件中，按字面读取会得到两个结果，其中一个正确。在这个示例中，使用 Hive 分区的 DuckDB 1.4.4 在两种摆放方式中都与 URI 解码的结果一致。

如果路径和实际存储的列都标明了所属分区，就核对两处。在另一个含四个案例的示例中，将两个内容不变的分片对调位置会产生四处冲突。显式启用 Hive 分区时，两个读取工具都按路径选取案例。只读取实际存储的列时，则使用列内的分区值。评分前，按协议解决冲突。

## 允许重写时，按案例 ID 核对标签

使用评分软件解码后的值，把重写结果与已批准的案例和标签对应关系进行比较。在另一个有八行的虚构示例中，移动整行和对调两个标签都会改变文件字节，但文件尾部序列化的元数据保持一致。按 ID 比较，移动整行时标签改动为零，对调标签时有两处改动。只要允许改变行顺序，整行重排就能通过标签检查。即使文件尾部和标签数量一致，对调标签也通不过。

记录交付件的标识、评分用的读取工具和筛选条件、缺少或意外出现的 ID，以及有变化的案例标签对。这样下一位审查者就可以复现每项验收决定。

[下载重跑脚本和已保存的结果（ZIP）](https://sapien1.com/research/check-parquet-evaluation-deliveries-evidence/parquet-evaluation-replay.zip)
