研究
如何验收用于评估的 Parquet 交付件
报告分数之前,先确认收到的是哪个交付版本、读取工具选了哪些案例、用了哪些标签。按照交付协议选择检查项目。固定版本可能要求指定文件位于指定路径。允许重写时,可以改变文件和行顺序,但要保留案例 ID 和标签。
核对固定交付件和实际评分的案例
将每个 Parquet 相对路径与对应的 SHA-256 配对。沿用交付时的路径写法,包括百分号编码的字符。核对所有对应关系,查看是否有缺少或多出的路径。使用计划采用的读取工具、版本和分区选项运行评分筛选。把返回的 ID 与批准的清单比较。如果协议要求每个案例只有一行,还要检查 ID 是否唯一。
在一份包含三个分片的虚构交付件中,预期案例是 case-a 和 case-b,两个结果都正确。两种摆放方式的文件校验和清单相同,每个测试过的读取工具也都选出两个案例。
| 观察结果 | 需要核对的条件 |
|---|---|
| 原始交付,PyArrow 解码 URI,选中 case-a 和 case-b | 路径和文件的对应关系正确,案例清单也一致。 |
| 原始交付,PyArrow 按字面读取路径片段,选中 case-c 和 case-d | 路径和文件的对应关系正确。案例清单不一致,暂停评分。 |
| 分片互换,PyArrow 解码 URI,选中 case-c 和 case-d | 路径和文件的对应关系已改变,案例清单也不一致,暂停评分。 |
| 分片互换,PyArrow 按字面读取路径片段,选中 case-a 和 case-b | 案例清单一致。路径和文件的对应关系已改变,暂停评分。 |
在原始摆放方式中,PyArrow 26.0.1 解码 URI 时,将 split=test%252Fgold 读为分区值 test%2Fgold。如果按字面读取路径片段,同一个查询会选中名为 split=test%2Fgold 的目录。在原始交付件中,按字面读取会得到两个结果,其中一个正确。在这个示例中,使用 Hive 分区的 DuckDB 1.4.4 在两种摆放方式中都与 URI 解码的结果一致。
如果路径和实际存储的列都标明了所属分区,就核对两处。在另一个含四个案例的示例中,将两个内容不变的分片对调位置会产生四处冲突。显式启用 Hive 分区时,两个读取工具都按路径选取案例。只读取实际存储的列时,则使用列内的分区值。评分前,按协议解决冲突。
允许重写时,按案例 ID 核对标签
使用评分软件解码后的值,把重写结果与已批准的案例和标签对应关系进行比较。在另一个有八行的虚构示例中,移动整行和对调两个标签都会改变文件字节,但文件尾部序列化的元数据保持一致。按 ID 比较,移动整行时标签改动为零,对调标签时有两处改动。只要允许改变行顺序,整行重排就能通过标签检查。即使文件尾部和标签数量一致,对调标签也通不过。
记录交付件的标识、评分用的读取工具和筛选条件、缺少或意外出现的 ID,以及有变化的案例标签对。这样下一位审查者就可以复现每项验收决定。