Pular para o conteúdo principal

Menu

Como comprar dados de treinamento para IA

Idioma: Português (Brasil)

Conte o que seu modelo precisa aprender e como você avaliará se uma amostra é útil. Podemos discutir fontes adequadas e as evidências a analisar antes de você decidir se deseja licenciar uma coleção. Descreva seu projeto para a sapien1

Você pode licenciar um conjunto de dados existente, trabalhar diretamente com um detentor de dados ou encomendar uma coleta para uma tarefa específica. Antes de assumir um compromisso, defina o que o modelo precisa aprender, teste uma amostra em relação a esse requisito e verifique se os termos propostos abrangem o uso pretendido.

A pergunta relevante não é apenas “Quantos dados estão disponíveis?”. É preciso saber se os registros contêm os exemplos e o contexto que sua equipe pode usar e se a licença acordada abrange as pessoas, os sistemas e as finalidades envolvidos.

Escolha onde obter os dados

FormaQuando considerarO que perguntar primeiro
Conjunto de dados existenteVocê precisa de uma coleção que talvez já exista.Quais versão, campos, período e termos de uso estão incluídos?
Acordo direto com um detentor de dadosUma organização possui registros ou conteúdo relevantes.Quem pode autorizar o uso proposto e quais materiais estão incluídos?
Coleta ou preparação personalizadaO material existente não contempla cenários, formatos ou rótulos importantes.O que será coletado ou preparado, como a qualidade será verificada e o que você poderá usar depois?
Conjunto de dados públicoUma coleção acessível pode ser adequada à tarefa ou servir como comparação inicial.O que a documentação informa sobre origem, limitações e uso permitido?

Por exemplo, o Opendatabay apresenta um marketplace com anúncios de conjuntos de dados, enquanto a Clickworker descreve serviços personalizados de coleta e anotação. São pontos de partida para investigação; verifique a oferta e os termos aplicáveis aos dados específicos de que você precisa.

Nosso guia de obtenção de dados explica como descrever a tarefa, a cobertura e o formato antes de abordar uma fonte.

Decida o que cada exemplo deve incluir

Registre o comportamento pretendido e as informações necessárias para avaliá-lo. Para um agente de atendimento, um registro pode precisar conter a solicitação do cliente, a política vigente na época, a ação tomada e o resultado. Para um modelo de documentos, os campos importantes podem incluir imagens das páginas, texto extraído, layout e rótulos verificados.

Se uma amostra de documentos incluir caixas com rótulos, verifique se elas estão alinhadas às imagens entregues. Alguns formatos expressam posições como frações das dimensões da página; outros usam pixels. Confirme a página, a versão da imagem, as unidades, a origem das coordenadas e qualquer redimensionamento, corte ou rotação. Em seguida, sobreponha as caixas da amostra às imagens para verificar o alinhamento. Analise também se os rótulos descrevem as regiões corretas.

Peça uma descrição da versão exata do conjunto de dados: origem, tamanho e unidades, período coberto, formatos, rótulos, exclusões conhecidas e histórico de processamento. As orientações do Hugging Face sobre cartões de conjuntos de dados descrevem como um cartão pode documentar conteúdo, contexto e metadados, como licença, idioma e tamanho. Considere esses campos como informações a serem analisadas junto com a documentação que os fundamenta.

Teste uma amostra em relação aos seus requisitos

Defina em comum acordo uma amostra e as verificações antes de decidir se a iniciativa será ampliada. Inclua as situações rotineiras que seu modelo encontrará e os casos difíceis relevantes para a tarefa. Registre como a amostra foi selecionada e quais partes da coleção proposta ela representa.

Os Termos do Marketplace da Origin Lab, consultados em 18 de novembro de 2026, restringem as amostras do marketplace conforme definidas nesses termos à avaliação interna e proíbem seu uso para testar ou avaliar um sistema de IA, a menos que um acordo comercial aplicável firmado pela Origin Lab estabeleça expressamente o contrário. Essa restrição às amostras não se aplica aos Bench Materials, definidos separadamente e sujeitos a termos próprios. Verifique os termos específicos da amostra e qualquer acordo antes de inspecioná-la, testá-la, usá-la em treinamento ou compartilhá-la.

Para uma amostra de fala com marcações de tempo por palavra, pergunte a qual gravação elas se referem e qual unidade de tempo utilizam. Se as marcações se referirem a uma cópia da qual os silêncios foram removidos, peça o identificador da gravação original e um mapa dos trechos preservados em relação à linha do tempo original. Verifique uma palavra após um corte interno. Em uma amostra fictícia que une os segundos 2–4 e 7–9 da gravação original sem inserir intervalo, o instante de 2,5 segundos na amostra corresponde a 7,5 segundos na gravação original. Somar o deslocamento de dois segundos do primeiro trecho resulta em 4,5 segundos, dentro do intervalo removido. Mapeamento de marcações de tempo do NeMo Curator

Verifique como a entrega identifica palavras cujas marcações de tempo atravessam uma junção. Na mesma amostra fictícia, a função auxiliar do faster-whisper testada escolheu um único deslocamento para as duas extremidades de um intervalo que atravessa uma junção e posicionou seu início dentro do trecho removido. Se seu uso exigir um intervalo contínuo na gravação original, combine como sinalizar e revisar esses casos antes de aceitá-los. Restauração de marcações de tempo do faster-whisper · Cálculo de deslocamento do faster-whisper

Considere este exemplo fictício. Uma equipe quer ajustar um agente de atendimento para recomendar a próxima etapa de uma solicitação de devolução. Um fornecedor propõe uma coleção de casos de atendimento. A equipe pede 12 exemplos para diagnóstico: seis devoluções rotineiras e seis exceções. Para essa primeira análise, exige que cada exemplo inclua a solicitação do cliente, um link para a versão da política vigente e o resultado registrado.

VerificaçãoRequisito para esta amostraResultado ilustrativo
Solicitação do clientePresente em todos os 12 exemplosPresente em 12 de 12
Versão aplicável da políticaLink presente em todos os 12 exemplosPresente em 10 de 12; dois casos de exceção não têm o link
Resultado registradoPresente em todos os 12 exemplosPresente em 11 de 12; um caso rotineiro não tem resultado registrado

A amostra não atende a duas das verificações definidas pela equipe. A próxima etapa é perguntar se os links das políticas e o resultado ausentes podem ser recuperados e analisar uma amostra corrigida. Caso não possam, a equipe pode alterar seu requisito ou procurar outra fonte. Um resultado registrado não é automaticamente uma decisão correta: uma pessoa especialista no assunto também deve comparar os resultados com a política aplicável.

Essas contagens descrevem apenas os 12 casos selecionados. Elas não estimam a taxa de erro na coleção completa. Para avaliar uma cobertura mais ampla, pergunte como o conjunto de dados está distribuído entre os cenários relevantes e combine a seleção de outra amostra por um método documentado. As orientações do Google sobre qualidade de dados e amostragem explicam por que uma amostra selecionada pode dar uma visão enganosa de uma população maior.

Suponha que esses 12 casos sejam todos de 2024, mas que a coleção oferecida cubra o período de 2022–2024. Verificar uma cópia corrigida pode confirmar as correções nesses casos; isso não mostra se o restante da coleção foi corrigido. Pergunte quais versão do conjunto de dados e registros receberam a correção e combine como selecionar uma nova amostra da versão que você pretende comprar. Se apenas 2024 puder ser analisado, deixe 2022–2023 sem avaliação e decida se deve restringir a compra ou esperar por uma análise mais ampla.

Se registros reais não puderem ser compartilhados para a análise inicial, pergunte se é possível fornecer uma amostra sanitizada ou acesso controlado. Um exemplo sintético pode mostrar o formato, mas não comprova a qualidade ou a cobertura da coleção real.

Combine como o acesso será controlado antes de receber uma amostra: uma consulta que seleciona determinadas colunas não restringe, por si só, o acesso ao restante do arquivo original. Um rodapé Parquet também pode conter estatísticas das colunas. Se quem envia precisar limitar o que é transferido, considere uma amostra preparada separadamente com campos aprovados ou um serviço que imponha acesso no nível de campo. Analise os metadados e controles de acesso junto com os registros retornados.

Confira quais usos dos dados são permitidos

Verifique se o acordo e os documentos de suporte correspondem ao conjunto de dados e ao projeto específicos. Entre as perguntas a discutir com o fornecedor e as pessoas responsáveis pela análise jurídica e de compras estão:

  • Qual versão do conjunto de dados está coberta e o fornecedor está autorizado a conceder o uso proposto?
  • Treinamento, ajuste fino, avaliação ou recuperação estão incluídos quando necessários? Os termos tratam da implantação comercial e de quaisquer restrições relevantes aos modelos ou às suas saídas?
  • Quem pode acessar ou processar os dados, incluindo profissionais contratados ou prestadores de serviço? Quais são os termos de entrega, armazenamento, retenção e exclusão?
  • Há exclusões, direitos de fontes anteriores, materiais de terceiros ou outras restrições que precisem ser analisados? Quais evidências estão disponíveis para sustentar o relato do fornecedor sobre a origem e as permissões dos dados?

Registre separadamente o que está confirmado e o que ainda precisa de análise. Uma indicação de licença ou um cartão de conjunto de dados ajuda a identificar um uso declarado; por si só, não verifica os direitos que o fundamentam. Uma auditoria de conjuntos de dados públicos de texto, fala e vídeo encontrou diferenças entre as descrições de licença no nível do conjunto de dados e as restrições associadas ao conteúdo de origem. As conclusões dizem respeito aos conjuntos de dados públicos examinados, e não a todas as coleções comerciais.

Por exemplo, uma versão fixada do cartão do conjunto de dados público de pesquisa SciFact descreve o conjunto como CC BY-NC 2.0 e contém um link para um arquivo de licença no branch master do repositório, que pode mudar. Em uma versão fixada dessa licença, o repositório descreve separadamente a licença CC BY 4.0 para alegações e anotações de evidências, ODC-By 1.0 para resumos do corpus e Apache 2.0 para seu código. Os documentos podem descrever versões, componentes ou transformações diferentes; por si só, não estabelecem os termos aplicáveis a um arquivo específico. Relacione os arquivos entregues e seus componentes de origem à documentação pertinente e submeta as questões de direitos ainda não resolvidas à análise.

Planeje a avaliação e a entrega

Defina como os dados serão entregues e aceitos: formatos de arquivo, manifesto ou identificador de versão, documentação, verificações de amostra e forma de corrigir problemas. Se os dados também forem usados para avaliar um modelo, mantenha um conjunto de teste separado dos dados de treinamento e verifique se há duplicatas entre as partições. As orientações do Google sobre divisão de conjuntos de dados explicam como duplicatas podem fazer um teste parecer melhor do que realmente é.

Verifique quando começa o prazo de inspeção, como enviar uma notificação, o que significa a ausência de manifestação e quais medidas cabíveis se aplicam. Por exemplo, a versão 1.0 da licença padrão da ai.market para treinamento de IA concede ao comprador sete dias corridos após a primeira entrega para notificar o marketplace sobre uma divergência relevante em relação ao anúncio. Os termos gerais da micro1, atualizados em 12 de novembro de 2026, concedem à micro1, na condição de licenciada, 30 dias úteis após a conclusão da entrega conforme o manifesto para rejeitar os dados por escrito. Um marco inicial diferente se aplica caso o fornecedor a notifique por escrito de que os dados restantes não podem ser entregues. Os documentos se aplicam a transações diferentes e contêm outras condições e exceções. Analise os termos e a versão que regem seu pedido.

Um manifesto pode listar os arquivos esperados e as somas de verificação da versão acordada do conjunto de dados. Combine como verificar a origem do manifesto, comparar sua lista de arquivos com o que foi recebido e investigar arquivos ausentes, inesperados ou divergentes. Por exemplo, se um manifesto fictício listar dois arquivos, mas apenas um chegar, uma soma de verificação correspondente para esse arquivo não torna a entrega completa. A especificação BagIt distingue a verificação de integridade da entrega da validação das somas de verificação para um formato de empacotamento. Uma soma de verificação correspondente indica que o resumo calculado de um arquivo coincide com o manifesto; por si só, ela não comprova a identidade de quem o enviou, a correção dos rótulos, a representatividade da cobertura ou os direitos de uso dos dados. Analise esses pontos separadamente.

Quando um fornecedor enviar a próxima versão, veja como aceitar entregas recorrentes de dados para IA.

Para um exemplo detalhado de verificação de vazamento do conjunto de teste e de contexto ausente, consulte nosso guia de avaliação de conjuntos de dados.

A sapien1 ajuda equipes a definir requisitos de dados, identificar possíveis fontes e avaliar amostras. Comece pela tarefa, pelos exemplos necessários e pela decisão que uma amostra deve fundamentar. Detentores de dados que estejam se preparando para uma conversa podem consultar nosso guia de preparação para licenciamento de dados.