跳至主要内容

菜单

为 AI 训练和评估寻找数据

页面语言: 简体中文

请描述模型任务、所需材料及其获准用途。sapien1 可以帮助寻找潜在来源,并根据决定是否继续推进的标准确定样本范围。 向 sapien1 描述你的项目

寻找适合 AI 所需任务的数据。sapien1 帮助你明确需求、寻找可能的数据来源,并判断数据集是否适用于训练、评估或信息检索。

从你希望改进的行为入手,例如理解文档、完成工作流程、使用工具或解读场景。你选定的行为决定了需要哪些示例、上下文和质量检查。

明确数据的用途

同一批数据可以服务于不同用途。训练示例帮助系统学习某种行为,评估示例用来检验这种行为。检索内容提供系统在回答问题时可以查阅的信息。

先描述预期用途,再比较来源。对于客服智能体,实用的训练示例可以把用户请求、相关政策和实际采取的操作放在一起。评估任务还需要明确的检查方法,以判断智能体的决策是否正确。用于检索的资料库需要包含政策本身,以及足以判断适用版本的上下文。

数据寻源需求应包含哪些内容

要求需要说明的内容
任务模型或智能体要完成什么,目前在哪些方面遇到困难
覆盖范围相关领域、语言、地区、时间段和棘手案例
数据形式文档、代码、记录、音频、图像、视频、工具调用轨迹,或多种形式的组合
上下文理解示例所需的标签、时间戳、关系、指令或结果
预期用途训练、评估或检索,以及访问数据的方式
验收扩大项目范围之前,有用的样本应该证明什么

初版需求可以保留待确认的事项。相比只设定文件数量,具体的任务和几条具有代表性的示例通常更适合作为起点。

扩大项目之前先评估样本

审查样本可以发现上下文缺失、标签不一致、重复记录和场景覆盖空白。团队也可以在自己的工作流程中试用拟议的数据格式。要了解具体的样本审查过程,请参阅我们的AI 训练数据采购指南。

在记录技术评估时,一并注明数据来源和允许的用途。数据集说明应让读者看懂其中有哪些内容、有哪些相关限制。可参考Hugging Face 的数据集卡说明编写文档。

要了解数据所有者如何描述一批数据、需要核查哪些权限,请阅读企业数据授权前的准备事项。

如果你想讨论自己拥有的一批数据,可以描述你的数据。

在与 sapien1 合作时,可以一起确定寻源范围、样本审查、交付成果和验收标准。下一步可以是有针对性地采集数据、评估已有数据,或准备一套任务进行智能体评估。