如何验收定期交付的 AI 数据
显示语言: 简体中文
请说明预期的数据结构、交付频率,以及哪些情况会导致一个批次无法使用。我们可以帮助确定验收检查范围,并记录哪些内容已通过、哪些需要修正。 向 sapien1 描述你的项目
应用定期交付的数据集之前,先与团队上次验收通过的版本进行对照。确认新文件是替换约定范围内的全部数据,还是只包含从某个基准版本开始的变更。即使基准版本不对,文件也可能通过校验。
确认新一批交付涵盖哪些数据
向供应商索取发布版本标识、范围和文件清单。如果是替换,请确认完整数据集覆盖的范围。如果是变更集,请核对所需的基准版本,以及供应商如何标明新增、更新和移除。一条记录可能只是因为没有变化而未出现在变更文件中。AWS Data Exchange 同时介绍了更新后的完整数据集,以及包含自上一个修订版以来新增数据的修订版。AWS Data Exchange 修订版文档
对照约定的文件清单核对文件名和校验和。再单独检查基准版本和记录变更是否符合交付约定。BagIt 说明了文件清单及校验和验证方法。BagIt 规范
在预发布环境中应用更新并核对结果
在这个虚构示例中,买方使用目录数据流为训练集挑选记录。验收要求基准版本完全一致,而且训练集引用的每条已合并记录都必须指向一条仍有效的目标记录。上次验收通过的版本是 R12,有效 ID 为 A14、A27、A38 和 A52。R13 的第一个交付包通过了文件校验,却要求以 R11 为基准版本。买方继续使用 R12,并要求提供以 R12 为基准的变更集,或提供约定范围内的完整替换版本。
供应商发来修正版 R13b,指定 R12 作为基准版本。买方核对新文件,在获准处理该数据的预发布环境中,将变更应用到数据副本。
| 记录 | R13b 的变更或预期状态 | 验收 R13b 之前的检查 |
|---|---|---|
A14 | 将主题从 returns 改为 exchanges | 核对 R12 中的旧值和预发布环境结果中的新值。 |
A27 | 合并到 A38 | 确认 A27 已从有效记录集合中移除,且当前引用指向 A38。 |
A38 | 作为合并目标保持有效 | 确认合并的目标记录存在。 |
A52 | 未出现在变更集中 | 确认未变更的记录仍然有效。 |
A65 | 新增一条记录 | 确认新 ID 只出现一次。 |
更新后应有效的 ID 为 A14、A38、A52 和 A65。两个版本都各有四条有效记录,只数行数会漏掉 ID 的更替。如果缺少 A38,买方就暂缓验收 R13b,并要求供应商修复失效的引用。在本例中,验收检查通过后,买方记录 R13b 通过验收、R13 因基准版本不匹配暂缓验收,并保留每个交付包的文件清单摘要。
确保当前版本和历史版本的引用仍可用
询问被移除的记录是否有继续有效的替代 ID。OpenAlex 在删除文件中列出已并入其他作品的作品 ID。另有一份尽力维护的合并映射,提供所列 ID 当前对应的有效 ID。如果协议允许保留标识符,请记录收到的 ID、它当前指向的 ID,以及解析时所用的交付版本。确认替代 ID 在该版本中有效。OpenAlex 同步文档
如果表迁移后需要重建早期训练集,请记录原有的版本选择条件、拟使用的目标引用,以及任何截止时间所用的时区和时钟依据。实际使用前,在相应的源和目标系统中分别验证这两种选择方式。sapien1 在本地使用 Iceberg 1.12.0 重放空的 Delta 表时,仍可通过版本标签访问较早的快照。以第二个 Delta 日志文件的时间进行查询时,Iceberg 发布的历史中没有匹配的条目。Iceberg 迁移研究
记录本次决定,供下次交付参考
记录基准版本、收到的发布版本、文件清单标识或摘要、有效 ID 的检查结果、尚未解决的引用,以及验收或要求更正的决定。向供应商确认移除标记在协议中的含义,并遵守适用于所保留副本或标识符的规则。
如果需要协助制定验收检查,请发邮件联系 sapien1,说明上次验收通过的版本、更新格式和需要作出的决定。
如果还在选择供应商,请先看AI 训练数据购买指南。如果需要帮助定义任务和所需数据,请参阅数据来源指南。