跳至主要内容

菜单

评估 AI 数据集是否适合目标任务

语言: 简体中文

请说明预期用途、数据结构和样本情况。我们可以确定覆盖范围、质量和权限的审核范围,并通过审核结果说明现有证据支持哪些用途。 向 sapien1 描述你的项目

数据集评估要回答一个具体问题:手头的数据能否支持某项训练、检索或评估决策。先明确目标任务,再检查样本及其上下文、标签、覆盖范围和划分方式。

例如,一套测试数据看起来很完整,却可能包含模型在训练期间已经见过的案例。如果目的是估计模型在新案例上的表现,这就很重要。有效的审查应说明查过什么、需要修复什么,以及现有证据足以支持哪些结论。

从要做的决定出发

写清楚你打算怎样使用这个数据集。同一批记录可能适合一种用途,却不足以支持另一种用途。

预期用途需要回答的问题
训练或微调样本和标签是否体现了模型需要学习的行为?
评估模型或智能体能否核验预期结果?测试案例是否独立于训练或调优使用的数据?
检索内容是否最新、容易理解,并且能在系统需要时获取?

记录数据集版本、来源、日期范围、字段和已知限制。数据集卡片可以说明内容、背景和元数据。请再与实际文件和适用的使用条款核对。

以 2026 年 11 月 17 日检查的 lerobot/svla_so101_pickplace 仓库修订版 f641879 为例。数据集卡片中的元数据示例写的是 codebase_version v2.1,文件路径按回合组织。同一修订版的实际元数据写的是 codebase_version v3.0,文件路径按分块组织。数据目录中也有文件符合这种命名方式。使用从卡片复制的路径之前,先检查你要用的修订版的元数据和文件。样本质量和训练适用性还需要另行判断。

合并机器人记录前,先确认动作与状态通道的含义,以及固定步数代表的时间。FineART 和一个模拟 ALOHA 数据集都声明使用 aloha,动作与状态各用一个含 14 个元素的 float32 向量。FineART 声明每秒 30 帧,模拟数据集则为每秒 50 帧。假设每步按声明的帧率前进一个帧间隔,15 步在两个数据集中分别对应 0.5 秒和 0.3 秒。将两者的时间窗口视为等价之前,检查实际记录的时间以及处理流程如何选取各步。FineART 元数据 · 模拟 ALOHA 元数据

用实例检查数据划分和上下文

假设团队希望用已有的带标签客服数据来判断能否发布一个处理新会话的智能体。共有 120 个样本,其中 90 个用于训练,30 个在拟定的测试集中。每个样本应包括案例 ID、会话 ID、适用的客服政策版本和预期的下一步操作。

这是一个虚构示例。团队检查了 30 个测试案例,并与训练集比对,得到以下结果。

检查项发现对当前决策的影响
重复案例确认四个测试案例是训练案例的副本。这四个案例在训练集中已有对应记录。
共享会话另有三个测试案例的案例 ID 不同,但属于训练集中已有的会话。对于以新会话为目标的测试,这些也是跨数据划分的重叠。
政策上下文剩余 23 个测试案例中,有两个缺少指向政策版本的引用。审查人员暂时无法用现有记录核对预期操作是否符合相关政策。

前两项检查共标记了七个不同的测试案例,另外 23 个没有发现这些重叠。其中两个缺少政策上下文,因此仍有 21 个测试案例未被这些检查标记。标签是否正确、覆盖范围是否充分、21 个案例能否支持发布决策,都还需要判断。

团队应暂缓将当前测试集用作新会话的独立发布检查。隔离已标记的案例以便审查,并补齐或厘清缺失的上下文。核查模型和开发团队已经接触过什么。仅重新整理文件,无法让用过的案例重新变成未见过的案例。重新划分时,应保留每个会话的完整性,并将测试案例与记录中的训练数据、模型选择数据比对。如果无法核查以往训练数据的来源,就记录这一限制。如果已有结果影响了调优,就留出未参与这些决策的新案例,必要时用相互隔离的数据重新训练。

Google 的数据集划分指南说明,训练和测试样本重复时,结果可能比模型在新样本上的实际表现更好看。scikit-learn 的分组交叉验证指南介绍了如何把相关观察保留在同一组,以评估模型在未见过的组上的表现。该如何分组取决于问题,分组单位可以是会话、客户或文档。如果图像描述测试的图片必须未出现在训练集中,应将每张图片的所有描述放在同一组。如果逐行划分描述,同一张图片就可能同时出现在训练集和测试集中。面向未来的测试应采用考虑时间顺序的划分,避免训练数据包含晚于测试时段的观察记录。

假设团队也想测试截止时间之后的新会话。重新划分时,会话 A 在截止时间前后都有记录,会话 B 的第一条案例记录出现在截止时间之后。如果 B 的记录以前未用于训练或模型选择,可以将 A 从两个集合中排除,并将 B 留作测试。训练数据应早于截止时间,同时检查整个测试集中有没有以前用过的案例。记录排除项,并确认剩余案例能覆盖预期用途。对于持续进行的会话,可以另设遵守时间顺序的测试。如果历史记录不完整,可能无法确认 B 是新会话。

别把没有指定的比例直接当成留出集,先检查工具到底分配了哪些数据。例如,在虚构的 50 个回合中,LeRobot 修订版 7910c20 的比例划分函数依次接收 train: 0.6 和 test: 0.2,会把全部回合分配完,其中训练占 30 个、测试占 20 个,没有剩余。其他工具或版本的行为可能不同,小数据集可能需要取整或重新分配。检查实际成员。如果必须保持分组完整,就选定并记录符合要求的回合列表。

LeRobot 研究笔记追踪了新建的 Diffusion 处理器读取已保存归一化统计量的过程,并将这些范围与一个假想留出划分中的训练回合摘要作了比较。检查你所用处理器读取的统计量来自哪里、涵盖哪些数据。

检查标签和覆盖范围

对于带标签的数据,抽取部分预期答案,对照生成这些答案时使用的指令和证据。领域专家可以检查缺失的上下文、不一致的标签,以及确实没有唯一明确答案的案例。记录分歧及其解决方式。审查人员达成一致有参考价值,标签是否正确仍需证据。标注质量管理研究将复核、一致性和争议裁定视为不同环节。

数值类别标签需要一张映射表,将 ID 与类别名称和定义对应起来。比较不同版本和划分中的定义和 ID,并与模型期望的映射核对。记录采用的转换,以及如何处理缺失或合并的类别。Ultralytics Platform 数据集指南指出,合并或删除类别可能使后续 ID 移位,导致旧的导出数据不再匹配更新后的类别列表。请在自己的导出文件和处理流程中验证映射关系。

检查数据集是否覆盖预期用途的重要情况,例如常见请求、重要例外、语言、时间段或其他有意义的分组。样本少的组可能需要补充数据或单独分析。各组需要的样本数可以不同。

记录审查样本的选择方法。手选案例有助于发现问题,但手选样本的错误率不能代表整个数据集。Google 的抽样指南说明了样本选择可能怎样扭曲对总体的判断。

随机抽样同样可能漏掉错误。假设另有一批虚构的 120 条记录,其中六条的标签不正确。如果从中均匀随机抽取 20 条不同记录,大约有 33% 的机会一条错标都抽不到。若审查人员能识别抽中记录里的全部错标,抽取 47 条可使漏掉全部六条的概率降到 5% 以下。这个规划例子假设有六处错误。样本中没发现错误,无法据此确定总体恰好有六处错误,也不能证明其他记录无误。根据决策关心的错误频率和可接受的漏检概率决定样本数,并记录样本如何选择和审查。NIST 的抽样入门介绍了样本选择和样本量,标注质量研究解释了统计质量估计和验收抽样。

比较不同语言的阅读成绩

决定要改什么

将审查结果转化为团队可执行的措施。

  • 修复。 补回缺失的上下文,纠正确认的错误,或更新标注说明。然后复查受影响的记录。
  • 限制使用范围。 只在数据集足以支持的任务或子集上使用,并说明已知缺口。
  • 暂缓使用。 在重要问题解决前,暂不将数据集用于预定的训练或发布决策。
  • 补充数据。 收集或采购欠缺场景的案例,或者建立一套未用于训练或调优的新测试集。

确保能区分原始版本和修订版本。记录检查项目、选样方法、发现、审查决定和未解决的问题,让其他团队知道改了什么以及原因。

验证重写后的 Parquet 数据集

重写交付的 Parquet 文件时,先确定新文件必须为目标任务保留哪些属性。记录原始和修订后的文件版本,并使用团队下游流程实际采用的读取工具开展检查。下面的例子均使用虚构数据。

  • 源字段。 如果需要区分字段缺失与显式 null,请保存每个源文件的模式。在 DuckDB 1.4.4 的示例中,即使保留源文件名称,交换缺少某个字段的数据源后,合并结果仍然相同。原始模式可以识别两处变化。DuckDB 合并模式
  • 案例与标签的配对。 检查案例 ID 是否存在且唯一,再与预期 ID 清单核对,并按 ID 比较标签。在八行记录的例子中,两次重写保留了相同的文件尾部元数据和标签计数。一次有两个标签被换到了别的案例,另一次只改变完整数据行的顺序,所有配对仍然一致。Parquet 文件结构
  • 解码后的数值。 检查逻辑类型,比较实际读取的数值。在十进制数的例子中,小数位数从 2 改到 3 后,12.34 变为 1.234,存储的整数和列块字节均未改变。Parquet 十进制类型规范
  • 本地日期。 如果报告按本地日期汇总,应比较每个事件在约定时区所对应的日期。在 PyArrow 26.0.1 的例子中,重写时未保存 Arrow 模式元数据,两个事件仍保持原来的时间点。按 UTC 读回时,两者都被归到 7 月 1 日。按约定的纽约时区读取后,分别恢复到 6 月 30 日和 7 月 1 日。PyArrow 写入选项

根据约定的属性开展各项检查。如果允许更改顺序,保留配对的重排可以通过案例与标签的检查。如果合同要求证明各来源原本具有哪些字段,但无法取得原始模式,则暂缓该检查,直到取得证据。

检查 COCO 数据转换

转换 COCO 物体检测数据集时,比较源图片与导出图片的 ID 映射。确保每张源图片在导出文件中都有不同的数值 ID,其标注和预测仍然指向正确的图片。在配置已保存 ID 映射的情况下,测试中的 FiftyOne 导出器会把 01 和 1 转为同一个整数。被测的 COCO 索引会保留该 ID 对应的最后一条图片记录,并将相关标注都归在该 ID 下。评分前应解决重复 ID。FiftyOne 导出器 · COCO 索引

尽可能保留原始 ID。如果必须修改,保留 ID 的相对数值顺序,并在原始数据和转换后的数据上重新计算平均精度(AP)。使用相同修订版的评估器、相同设置和未经舍入的预测分数,并在每次运行中将预测映射到相应的图片。还应做一项小测试,在不同图片上设置两个类别相同、置信度相同的检测,其中一个匹配真实标注,另一个为假阳性。被测的 COCO 评估器对图片 ID 排序,跨图片分数相同时保留该顺序。因此,即使检测的匹配关系保持一致,重新编号也可能改变 AP。对比两个版本前,先排查并解决分数差异。COCO 图片顺序 · COCO 分数累积

sapien1 帮助团队根据 AI 系统要完成的工作评估数据集并规划评估。完成数据审查后,可以查看我们的智能体评估指南。如果审查发现数据缺口,数据采购指南可以帮助明确需要寻找的数据。