Pular para o conteúdo principal

Menu

Busca de dados para treinamento e avaliação de IA

Idioma da página: Português (Brasil)

Descreva a tarefa do modelo, o material necessário e seu uso permitido. A sapien1 pode ajudar a identificar possíveis fontes e definir o escopo de uma amostra com critérios para decidir se vale a pena prosseguir. Descreva seu projeto para a sapien1

Busque dados que correspondam à tarefa que seu sistema de IA precisa executar. A sapien1 ajuda a definir a necessidade, encontrar possíveis fontes e avaliar se um conjunto de dados serve para treinamento, avaliação ou recuperação de informações.

Comece pelo comportamento que você quer melhorar. Pode ser entender um documento, concluir um fluxo de trabalho, usar uma ferramenta ou interpretar uma cena. Essa decisão orienta a escolha dos exemplos, do contexto e das verificações de qualidade.

Defina para que os dados serão usados

Uma mesma coleção pode atender a diferentes objetivos. Exemplos de treinamento ensinam um comportamento. Exemplos de avaliação verificam esse comportamento. Um acervo para recuperação fornece informações que o sistema pode consultar ao responder a uma pergunta.

Descreva o uso pretendido antes de comparar fontes. Para um agente de atendimento, um exemplo de treinamento pode reunir uma solicitação, a regra aplicável e a ação tomada. Já a tarefa de avaliação também exige uma forma clara de verificar se a decisão foi correta. Um acervo para recuperação precisa conter as próprias regras e contexto suficiente para identificar a versão aplicável.

O que incluir na especificação da busca de dados

RequisitoO que descrever
TarefaO que o modelo ou agente deve fazer e onde encontra dificuldades hoje
CoberturaDomínios, idiomas, regiões, períodos e casos difíceis relevantes
Formato dos dadosDocumentos, código, registros, áudio, imagens, vídeo, rastros do uso de ferramentas ou uma combinação desses formatos
ContextoRótulos, registros de data e hora, relações, instruções ou resultados necessários para interpretar um exemplo
Uso pretendidoTreinamento, avaliação ou recuperação de informações, incluindo como os dados serão acessados
AceitaçãoO que uma amostra útil deve demonstrar antes da ampliação do projeto

A especificação inicial pode deixar perguntas em aberto. Uma tarefa concreta e alguns exemplos representativos costumam dar um ponto de partida melhor do que definir apenas uma quantidade de arquivos.

Avalie uma amostra antes de ampliar o projeto

A revisão de uma amostra pode revelar falta de contexto, rótulos inconsistentes, duplicatas e situações mal cobertas. Ela também permite que sua equipe teste o formato proposto no próprio fluxo de trabalho. Para ver um exemplo prático de revisão, consulte nosso guia de compra de dados de treinamento para IA.

Registre a origem e os usos permitidos junto com a avaliação técnica. A descrição de um conjunto de dados deve explicar seu conteúdo e suas limitações relevantes. As orientações da Hugging Face sobre fichas de conjuntos de dados são uma referência útil para essa documentação.

Para entender como o proprietário pode descrever uma coleção e quais permissões precisa revisar, consulte o que preparar antes de licenciar os dados da sua empresa.

Se você é proprietário de uma coleção de dados sobre a qual gostaria de conversar, descreva seus dados.

Em um projeto com a sapien1, defina em conjunto o escopo da busca, a análise da amostra, as entregas e os critérios de aceitação. A próxima etapa pode ser uma coleta direcionada, uma avaliação dos dados que você já tem ou um conjunto de tarefas para avaliar agentes.