Pular para o conteúdo principal

Menu

Avalie um conjunto de dados de IA para a tarefa que ele precisa atender

Idioma: Português (Brasil)

Compartilhe o uso pretendido, um esquema e uma descrição da amostra. Podemos definir o escopo de uma análise de cobertura, qualidade e permissões, com conclusões que expliquem quais usos são sustentados pelas evidências. Descreva seu projeto para a sapien1

A avaliação de um conjunto de dados ajuda a verificar se os dados que você já tem sustentam uma decisão específica de treinamento, recuperação de informações ou avaliação. Comece pela tarefa pretendida. Depois, examine os exemplos, o contexto, os rótulos, a cobertura e a forma como os dados foram divididos.

Por exemplo, um conjunto de teste pode parecer completo e ainda conter casos que o modelo já viu durante o treinamento. Isso importa quando o teste deve estimar o desempenho em casos novos. Uma revisão útil identifica o que foi verificado, o que precisa de correção e quais conclusões as evidências restantes permitem.

Comece pela decisão

Registre o que você pretende fazer com o conjunto de dados. Os mesmos registros podem ser úteis para uma finalidade e insuficientes para outra.

Uso pretendidoUma pergunta a responder
Treinamento ou ajuste finoOs exemplos e os rótulos descrevem o comportamento que o modelo deve aprender?
Avaliação de um modelo ou agenteÉ possível verificar os resultados esperados? Os casos de teste são independentes dos dados usados para treinar ou ajustar o sistema?
Recuperação de informaçõesO conteúdo está atualizado, pode ser interpretado e está disponível quando o sistema precisa dele?

Registre a versão do conjunto de dados, a origem, o intervalo de datas, os campos e as restrições conhecidas. A ficha do conjunto de dados pode documentar o conteúdo, o contexto e os metadados. Compare-a com os arquivos reais e com os termos de uso aplicáveis.

Como exemplo concreto de verificação da documentação, considere o repositório lerobot/svla_so101_pickplace na revisão f641879, examinada em 17 de novembro de 2026. A ficha do conjunto de dados mostra um exemplo de metadados com codebase_version v2.1 e caminhos de arquivos organizados por episódio. Os metadados reais da mesma revisão indicam codebase_version v3.0 e caminhos de arquivos organizados em blocos. O diretório de dados contém um arquivo cujo nome segue esse padrão. Confira os metadados e os arquivos da revisão que você pretende usar antes de confiar em um caminho retirado da ficha. Essa comparação deixa em aberto a qualidade dos exemplos e sua adequação ao treinamento.

Antes de combinar gravações de robôs, verifique o que significam os canais de ação e estado e quanto tempo corresponde a um número fixo de passos. Tanto FineART quanto um conjunto de dados ALOHA simulado declaram aloha e vetores de ação e estado com 14 elementos do tipo float32. FineART declara 30 quadros por segundo e o conjunto simulado declara 50. Se cada passo avançar um intervalo entre quadros na frequência declarada, um horizonte de 15 passos ocupa 0,5 segundo em um conjunto e 0,3 segundo no outro. Confira os tempos gravados e como seu processo seleciona os passos antes de tratar como equivalentes as janelas das duas fontes. Metadados do FineART · Metadados do ALOHA simulado

Verifique as partições e o contexto com um exemplo

Suponha que uma equipe queira usar um conjunto de dados rotulado de atendimento para decidir se pode lançar um agente que lida com conversas novas. Há 120 exemplos: 90 de treinamento e 30 no conjunto de teste proposto. Cada exemplo deve incluir um ID de caso, um ID de conversa, a versão aplicável da política de atendimento e a próxima ação esperada.

O exemplo é fictício. A equipe examina os 30 casos de teste, compara-os com os dados de treinamento e chega aos seguintes resultados.

VerificaçãoResultadoImplicação para a decisão
Casos repetidosQuatro casos de teste são cópias confirmadas de casos de treinamento.Esses quatro casos já estão representados no conjunto de treinamento.
Conversas compartilhadasTrês outros casos de teste têm IDs de caso diferentes, mas pertencem a conversas presentes no treinamento.São correspondências adicionais entre partições em um teste voltado a conversas novas.
Contexto da políticaDois dos 23 casos de teste restantes não têm referência à versão da política.O contexto registrado ainda não permite conferir as ações esperadas com a política aplicável.

As duas primeiras verificações sinalizam sete casos de teste distintos, deixando 23 sem essas correspondências. Dois desses 23 não têm o contexto da política, o que deixa 21 casos de teste que essas verificações não sinalizaram. Ainda é preciso confirmar se os rótulos desses casos estão corretos, se a cobertura é suficiente e se 21 casos bastam para decidir sobre o lançamento.

A equipe deve suspender o uso do conjunto atual como verificação independente de lançamento para conversas novas. Separe os casos sinalizados para revisão e recupere ou esclareça o contexto que falta. Confira o que o modelo e a equipe de desenvolvimento já viram. Mudar os arquivos de lugar não torna inéditos os casos já usados. Em uma nova divisão, mantenha cada conversa inteira e compare os casos de teste com os dados de treinamento e de seleção de modelo registrados. Se não for possível verificar a procedência dos dados de treinamento anteriores, registre essa limitação. Se os resultados existentes influenciaram o ajuste, reserve casos novos que ficaram fora dessas decisões. Treine novamente com dados separados se necessário.

O guia do Google sobre a divisão de conjuntos de dados explica como duplicatas entre treinamento e teste podem fazer o desempenho parecer melhor do que em exemplos novos. A documentação do scikit-learn sobre validação cruzada por grupos descreve como manter juntas observações relacionadas para medir o desempenho em grupos inéditos. O grupo depende da pergunta e pode ser uma conversa, um cliente ou um documento. Se um teste de legendas deve usar imagens ausentes do treinamento, mantenha juntas todas as legendas de cada imagem. Dividir as linhas de legendas separadamente pode colocar a mesma imagem no treinamento e no teste. Para estimar o desempenho futuro, faça uma divisão que respeite a ordem temporal para evitar observações posteriores ao período de teste no treinamento.

Suponha que a equipe também queira testar conversas novas após uma data de corte. Em uma nova divisão, a conversa A tem registros dos dois lados do corte. O primeiro caso registrado da conversa B aparece depois do corte. Uma opção é excluir A dos dois conjuntos e reservar B para o teste, desde que os registros de B não tenham sido usados para treinamento ou seleção de modelo. Use dados anteriores ao corte no treinamento e confira se algum caso de teste já foi usado. Registre as exclusões e verifique se os casos restantes cobrem o uso pretendido. Um teste separado que respeite a cronologia pode avaliar conversas em andamento. Se o histórico estiver incompleto, talvez seja impossível confirmar que B é nova.

Verifique o que a ferramenta de divisão realmente atribui antes de supor que uma fração não especificada ficará reservada. A função auxiliar de frações do LeRobot na revisão 7910c20, por exemplo, atribui todos os 50 episódios de um conjunto fictício quando recebe train: 0.6 seguido de test: 0.2. São 30 para treinamento e 20 para teste, sem episódios restantes. Outras ferramentas ou versões podem agir de outra maneira, e conjuntos pequenos podem exigir arredondamentos ou redistribuições. Confira quais episódios entraram em cada conjunto. Quando grupos precisarem permanecer juntos, escolha e registre listas de episódios que respeitem esses grupos.

Uma nota de pesquisa sobre o LeRobot mostra como um processador Diffusion recém-inicializado pode receber estatísticas de normalização salvas. A nota compara essas faixas com resumos dos episódios de treinamento em uma divisão hipotética com dados reservados. Verifique a origem e o escopo das estatísticas carregadas pelo seu processador.

Revise os rótulos e a cobertura

Em dados rotulados, compare uma amostra das respostas esperadas com as instruções e as evidências usadas para criá-las. Uma pessoa especialista na área pode investigar a falta de contexto, os rótulos inconsistentes e os casos em que a resposta correta é realmente ambígua. Registre as divergências e como foram resolvidas. A concordância entre revisores é útil, mas não basta para comprovar a correção de um rótulo. A pesquisa sobre gestão da qualidade da anotação trata a revisão, a concordância e a resolução de divergências como etapas distintas.

Rótulos numéricos de classe precisam de um mapeamento entre IDs, nomes e definições de classes. Compare as definições e os IDs entre versões e partições e com o mapeamento esperado pelo modelo. Documente as conversões e o tratamento de classes ausentes ou mescladas. O guia de conjuntos de dados da Ultralytics Platform observa que mesclar ou excluir classes pode deslocar os IDs posteriores. Com isso, exportações antigas podem deixar de corresponder à lista de classes atualizada. Verifique o mapeamento nas suas próprias exportações e no seu processo.

Veja se o conjunto abrange as situações relevantes para o uso pretendido, como pedidos frequentes, exceções importantes, idiomas, períodos ou outros grupos significativos. Um grupo com poucos exemplos pode precisar de mais dados ou de uma análise própria. A quantidade adequada de exemplos pode variar de um grupo para outro.

Documente como os exemplos da revisão foram selecionados. Uma seleção manual pode ajudar a encontrar um problema. A taxa de erro dessa seleção não deve ser tratada como a do conjunto inteiro. O guia do Google sobre amostragem explica como a seleção pode distorcer as conclusões sobre uma população maior.

Mesmo uma amostra aleatória pode deixar erros passar. Suponha que outro lote fictício tenha 120 registros, seis deles com rótulos incorretos. Se você sortear uniformemente 20 registros distintos, a amostra não conterá nenhum desses seis em cerca de 33% das vezes. Sortear 47 reduz para menos de 5% a chance de não encontrar nenhum deles, desde que os revisores identifiquem todos os rótulos incorretos entre os registros selecionados. É um exemplo de planejamento que pressupõe seis erros. Uma amostra sem erros não demonstra que existam exatamente seis nem que o restante esteja correto. Escolha o tamanho da amostra de acordo com a frequência de erros e a chance de deixá-los passar que importam para sua decisão. Registre como os exemplos foram selecionados e revisados. A introdução do NIST à amostragem discute seleção e tamanho da amostra. A pesquisa sobre a qualidade da anotação explica a estimativa estatística da qualidade e a amostragem de aceitação.

Comparar pontuações de leitura entre idiomas

Decida o que mudar

Transforme os resultados em ações que a equipe possa executar.

  • Corrigir. Recupere o contexto ausente, corrija erros confirmados ou atualize as instruções de rotulagem. Confira novamente os registros afetados.
  • Restringir. Use o conjunto somente nas tarefas ou nos recortes que ele consegue atender e descreva as lacunas conhecidas.
  • Suspender. Mantenha o conjunto fora do treinamento ou da decisão de lançamento pretendidos até resolver o problema relevante.
  • Acrescentar dados. Colete ou obtenha casos para as situações que faltam, ou monte um conjunto de teste novo que não tenha sido usado para treinamento ou ajuste.

Mantenha as versões original e revisada identificáveis. Registre as verificações, o método de seleção, os resultados, as decisões dos revisores e as questões pendentes para que outra equipe entenda o que mudou e por quê.

Verifique um conjunto de dados Parquet regravado

Quando uma entrega em formato Parquet for regravada, identifique as propriedades que os novos arquivos precisam preservar para a tarefa. Registre as versões original e revisada e faça as verificações com o leitor que sua equipe usa nas etapas seguintes. Os exemplos abaixo usam dados fictícios.

  • Campos de origem. Salve o esquema de cada arquivo original quando precisar distinguir um campo ausente de um valor nulo explícito. No exemplo com DuckDB 1.4.4, trocar a fonte que omitia um campo produziu arquivos combinados idênticos mesmo com os nomes das fontes preservados. Os esquemas originais revelaram as duas mudanças. Combinação de esquemas no DuckDB
  • Pares de caso e rótulo. Confira se os IDs de caso estão presentes e são únicos. Compare os IDs com a lista esperada e verifique os rótulos por ID. Duas regravações do exemplo de oito linhas mantiveram os mesmos metadados de rodapé e as mesmas contagens por rótulo. Em uma delas, dois rótulos passaram a outros casos. Na outra, a reordenação de linhas intactas preservou todos os pares. Estrutura do arquivo Parquet
  • Números decodificados. Verifique o tipo lógico e compare os números que serão lidos. No exemplo decimal, mudar a escala de 2 para 3 transformou 12,34 em 1,234, embora os inteiros armazenados e os bytes do bloco da coluna continuassem iguais. Especificação decimal do Parquet
  • Datas locais. Se um relatório agrupa por dia local, compare o dia de cada evento no fuso horário combinado. Com PyArrow 26.0.1, dois eventos mantiveram seus instantes originais depois de uma regravação sem os metadados de esquema do Arrow. A leitura em UTC colocou os dois em 1º de julho. Usar o fuso combinado de Nova York restaurou as datas de 30 de junho e 1º de julho. Opções de gravação do PyArrow

Baseie cada verificação na propriedade combinada. Se a ordem puder mudar, um reordenamento que preserve os pares passa na verificação de casos e rótulos. Se o contrato exigir a presença de campos por fonte e os esquemas originais não estiverem disponíveis, suspenda essa verificação até recuperar as evidências.

Verifique a conversão dos dados COCO

Ao converter um conjunto COCO de detecção de objetos, compare os mapeamentos de imagens originais e exportados. Verifique se cada imagem de origem tem um ID numérico distinto na exportação e se suas anotações e previsões ainda apontam para a imagem pretendida. Quando um mapeamento salvo de IDs está configurado, o exportador do FiftyOne testado converte 01 e 1 no mesmo número inteiro. O índice COCO testado mantém a última linha de imagem desse ID e agrupa as anotações sob ele. Resolva os IDs duplicados antes de calcular as pontuações. Exportador do FiftyOne · Índice COCO

Preserve os IDs originais se possível. Se precisarem mudar, preserve a ordem numérica relativa e recalcule a precisão média (AP) nos dados originais e convertidos. Use a mesma revisão do avaliador, as mesmas configurações e as pontuações de previsão sem arredondamento, com as previsões associadas às imagens correspondentes em cada execução. Inclua um teste pequeno com duas detecções da mesma categoria e com a mesma confiança em imagens diferentes. Uma corresponde a uma anotação de referência e a outra é um falso positivo. O avaliador COCO testado ordena os IDs e mantém essa ordem nos empates de pontuação entre imagens. Por isso, a renumeração pode mudar a AP mesmo com as mesmas correspondências de detecções. Resolva qualquer diferença de pontuação antes de comparar as versões. Ordem das imagens no COCO · Acúmulo das pontuações no COCO

A sapien1 ajuda equipes a examinar conjuntos de dados e a planejar avaliações com base no que um sistema de IA precisa fazer. Depois de revisar os dados, consulte nosso guia de avaliação de agentes. Se a revisão indicar uma lacuna, nosso guia para obter dados pode ajudar a definir o que buscar.