Saltar al contenido principal

Menú

Evalúa un conjunto de datos de IA para la tarea que debe resolver

Idioma: Español

Comparte el uso previsto, un esquema y una descripción de la muestra. Podemos definir el alcance de una revisión de cobertura, calidad y permisos, con conclusiones que expliquen qué usos respaldan las evidencias. Describe tu proyecto a sapien1

Evaluar un conjunto de datos permite determinar si los datos que ya tienes sirven para tomar una decisión concreta de entrenamiento, recuperación de información o evaluación. Empieza por definir la tarea y revisa después los ejemplos, su contexto, sus etiquetas, su cobertura y cómo se han repartido los datos.

Por ejemplo, un conjunto de prueba puede parecer completo y contener casos que el modelo ya vio durante el entrenamiento. Esto importa cuando la prueba pretende estimar el rendimiento con casos nuevos. Una revisión útil deja claro qué se comprobó, qué hay que corregir y qué conclusiones permite extraer la evidencia disponible.

Empieza por la decisión

Especifica por escrito qué quieres hacer con el conjunto de datos. Los mismos registros pueden bastar para un uso y resultar insuficientes para otro.

Uso previstoUna pregunta que responder
Entrenamiento o ajuste fino¿Los ejemplos y las etiquetas describen el comportamiento que debe aprender el modelo?
Evaluación de un modelo o agente¿Se pueden comprobar los resultados esperados? ¿Son los casos de prueba independientes de los datos utilizados para entrenar o ajustar el sistema?
Recuperación de información¿Está actualizado el contenido, es interpretable y está disponible cuando el sistema lo necesita?

Registra la versión del conjunto de datos, su procedencia, el intervalo de fechas, los campos y las restricciones conocidas. La ficha del conjunto de datos puede describir el contenido, el contexto y los metadatos. Contrástala con los archivos reales y con las condiciones de uso aplicables.

Como ejemplo concreto, se revisó el repositorio lerobot/svla_so101_pickplace en la revisión f641879 el 17 de noviembre de 2026. Su ficha del conjunto de datos muestra un ejemplo de metadatos con codebase_version v2.1 y rutas de archivo organizadas por episodio. Los metadatos reales de esa revisión indican codebase_version v3.0 y rutas de archivos organizadas por bloques. El directorio de datos contiene un archivo cuyo nombre sigue ese patrón. Comprueba los metadatos y los archivos de la revisión que vayas a utilizar antes de fiarte de una ruta copiada de la ficha. Esta comparación deja abierta la cuestión de la calidad de los ejemplos y su idoneidad para entrenar.

Antes de combinar grabaciones de robots, comprueba qué representan los canales de acción y estado y a cuánto tiempo corresponde una cantidad fija de pasos. FineART y un conjunto de datos simulado de ALOHA declaran aloha y vectores de acción y estado de 14 elementos de tipo float32. FineART declara 30 fotogramas por segundo y el conjunto simulado, 50. Si cada paso avanza un intervalo entre fotogramas a la frecuencia declarada, un horizonte de 15 pasos abarca 0,5 segundos en un conjunto y 0,3 segundos en el otro. Comprueba los tiempos registrados y cómo selecciona los pasos tu proceso antes de tratar como equivalentes las ventanas de las dos fuentes. Metadatos de FineART · Metadatos de ALOHA simulado

Cómo comprobar las particiones y el contexto con un ejemplo

Supongamos que un equipo quiere utilizar un conjunto de datos etiquetado de atención al cliente para decidir si puede lanzar un agente que gestione conversaciones nuevas. Hay 120 ejemplos: 90 de entrenamiento y 30 en el conjunto de prueba propuesto. Cada ejemplo debería incluir un identificador de caso, un identificador de conversación, la versión aplicable de la política de atención y la siguiente acción esperada.

El ejemplo es ficticio. El equipo revisa los 30 casos de prueba, los compara con el conjunto de entrenamiento y obtiene estos resultados.

ComprobaciónHallazgoImplicación para la decisión
Casos repetidosSe confirma que cuatro casos de prueba son copias de casos de entrenamiento.Esos cuatro casos ya están representados en el conjunto de entrenamiento.
Conversaciones compartidasOtros tres casos de prueba tienen identificadores de caso diferentes, pero pertenecen a conversaciones presentes en el conjunto de entrenamiento.Son coincidencias adicionales entre particiones en una prueba que debe cubrir conversaciones nuevas.
Contexto de la políticaEn dos de los 23 casos de prueba restantes falta la referencia a la versión de la política.Con el contexto registrado, todavía no se pueden contrastar las acciones esperadas con la política aplicable.

Las dos primeras comprobaciones señalan siete casos distintos y dejan 23 sin esas coincidencias. Dos de esos 23 carecen del contexto de la política, así que quedan 21 casos que no activaron estas alertas. La cifra deja por comprobar si sus etiquetas son correctas, si la cobertura es suficiente y si 21 casos bastan para decidir sobre el lanzamiento.

El equipo debería suspender el uso de este conjunto como prueba independiente de lanzamiento para conversaciones nuevas. Aparta los casos señalados para revisarlos y recupera o resuelve el contexto que falta. Averigua qué han visto ya el modelo y el equipo de desarrollo. Mover los archivos de sitio no convierte los casos ya utilizados en casos nuevos. Al crear otra partición, mantén juntas todas las observaciones de una conversación y contrasta los casos de prueba con los datos registrados de entrenamiento y selección del modelo. Si no puedes verificar la procedencia de los datos de entrenamiento anteriores, documenta esa limitación. Si los resultados existentes influyeron en el ajuste, reserva casos nuevos que hayan quedado fuera de esas decisiones. Vuelve a entrenar con datos separados si es necesario.

La guía de Google sobre particiones de datos explica cómo los duplicados entre entrenamiento y prueba pueden dar resultados mejores que los que se obtendrían con ejemplos nuevos. La guía de scikit-learn sobre validación cruzada por grupos describe cómo mantener juntas las observaciones relacionadas cuando el objetivo es evaluar el rendimiento en grupos nuevos. El grupo relevante depende de la pregunta y puede ser una conversación, un cliente o un documento. Si una prueba de descripciones de imágenes debe usar imágenes ausentes del entrenamiento, mantén juntas todas las descripciones de cada imagen. Repartir las filas de descripciones por separado puede colocar la misma imagen en entrenamiento y prueba. Para estimar el rendimiento futuro, aplica una partición que respete el orden temporal y evita incluir en entrenamiento observaciones posteriores al periodo de prueba.

Supongamos que el equipo también quiere evaluar conversaciones nuevas después de una fecha de corte. En una nueva partición, hay registros de la conversación A antes y después del corte. El primer caso registrado de la conversación B aparece después. Una opción es excluir A de ambos conjuntos y reservar B para la prueba, siempre que sus registros no se hayan usado para entrenar o seleccionar el modelo. Limita el entrenamiento a datos anteriores al corte y comprueba si se utilizó antes algún caso del conjunto de prueba. Documenta las exclusiones y comprueba que los casos restantes cubran el uso previsto. Otra prueba que respete el orden temporal puede evaluar conversaciones que continúan. Un historial incompleto puede impedir confirmar que B es nueva.

Comprueba qué asigna realmente la herramienta de partición antes de dar por hecho que la fracción sin especificar quedará reservada. Por ejemplo, la función auxiliar de fracciones de LeRobot en la revisión 7910c20 asigna los 50 episodios de un conjunto ficticio cuando recibe train: 0.6 seguido de test: 0.2. Destina 30 a entrenamiento y 20 a prueba, sin dejar ninguno sin asignar. Otras herramientas o versiones pueden comportarse de otra manera, y los conjuntos pequeños pueden requerir redondeos o reasignaciones. Revisa qué episodios quedaron en cada partición. Si hay grupos que deben mantenerse juntos, elige y registra listas de episodios que respeten esos grupos.

Una nota de investigación sobre LeRobot detalla cómo un procesador Diffusion recién creado puede recibir estadísticas de normalización guardadas y compara esos rangos con resúmenes de los episodios de entrenamiento en una partición hipotética con datos reservados. Verifica el origen y el alcance de las estadísticas que carga tu propio procesador.

Revisa las etiquetas y la cobertura

En los datos etiquetados, compara una muestra de las respuestas esperadas con las instrucciones y la evidencia utilizadas para crearlas. Un especialista en el tema puede investigar la falta de contexto, las etiquetas incoherentes y los casos en los que la respuesta correcta sea realmente ambigua. Registra los desacuerdos y cómo se resolvieron. El acuerdo entre revisores aporta información, aunque por sí solo no demuestra que una etiqueta sea correcta. La investigación sobre gestión de la calidad de las anotaciones distingue entre revisión, acuerdo y resolución de discrepancias.

Las etiquetas numéricas de clase necesitan una correspondencia entre los identificadores, los nombres y las definiciones de las clases. Compara las definiciones y los identificadores entre versiones y particiones, y contrástalos con la correspondencia que espera el modelo. Documenta cómo conviertes los identificadores y qué haces con las clases ausentes o fusionadas. La guía de conjuntos de datos de Ultralytics Platform señala que fusionar o eliminar clases puede desplazar los identificadores posteriores. Las exportaciones anteriores pueden dejar de coincidir con la lista actualizada de clases. Comprueba la correspondencia en tus propias exportaciones y en tu proceso.

Comprueba si el conjunto cubre las situaciones relevantes para el uso previsto, como las solicitudes habituales, las excepciones importantes, los idiomas, los periodos u otros grupos pertinentes. Un grupo con pocos ejemplos puede requerir más datos o un análisis por separado. La cantidad adecuada puede variar entre grupos.

Documenta cómo seleccionaste los ejemplos que se revisarán. Una selección manual puede ayudar a detectar un problema, pero su tasa de errores no debe extrapolarse al conjunto completo. La guía de muestreo de Google explica cómo la selección puede distorsionar las conclusiones sobre una población más amplia.

Incluso una muestra aleatoria puede pasar por alto errores. Supongamos que otro lote ficticio contiene 120 registros, seis de ellos con etiquetas incorrectas. Si seleccionas 20 registros distintos al azar con igual probabilidad, aproximadamente el 33 % de las muestras no incluirán ninguno de esos seis. Elegir 47 reduce por debajo del 5 % la probabilidad de que pasen inadvertidos los seis, siempre que los revisores identifiquen cada etiqueta incorrecta entre los registros seleccionados. Es un ejemplo para planificar una revisión que parte de seis errores. Una muestra sin errores no permite deducir que haya exactamente seis ni demostrar que el resto esté libre de errores. Elige el tamaño de la muestra según la frecuencia de errores y la probabilidad de pasarlos por alto que importen para tu decisión. Registra cómo seleccionaste y revisaste los ejemplos. La introducción al muestreo del NIST aborda la selección y el tamaño de la muestra. La investigación sobre la calidad de las anotaciones explica la estimación estadística de la calidad y el muestreo de aceptación.

Comparar puntuaciones de lectura entre idiomas

Decide qué cambiar

Convierte los hallazgos en medidas que pueda tomar el equipo.

  • Corregir. Recupera el contexto ausente, corrige los errores confirmados o actualiza las instrucciones de etiquetado. Vuelve a comprobar los registros afectados.
  • Restringir. Usa el conjunto solo para las tareas o los subconjuntos para los que sea adecuado y describe las carencias conocidas.
  • Suspender. Excluye el conjunto del entrenamiento o de la decisión de lanzamiento previstos hasta resolver el problema relevante.
  • Añadir datos. Recopila o consigue casos de las situaciones que faltan, o crea un conjunto de prueba nuevo que no se haya utilizado para entrenar o ajustar.

Conserva una forma de identificar la versión original y la revisada. Registra las comprobaciones, el método de selección, los hallazgos, las decisiones de los revisores y las preguntas pendientes para que otro equipo pueda entender qué cambió y por qué.

Verifica un conjunto de datos Parquet reescrito

Cuando se reescriba una entrega en formato Parquet, identifica qué propiedades deben conservar los archivos nuevos para tu tarea. Registra las versiones original y revisada y ejecuta las comprobaciones con el lector que usa tu equipo en las fases posteriores. Los ejemplos siguientes usan datos ficticios.

  • Campos de origen. Guarda el esquema de cada archivo original si necesitas distinguir un campo ausente de un valor nulo explícito. En el ejemplo con DuckDB 1.4.4, cambiar la fuente que omitía un campo produjo archivos combinados idénticos incluso conservando los nombres de las fuentes. Los esquemas originales permitieron identificar ambos cambios. Combinación de esquemas en DuckDB
  • Pares de caso y etiqueta. Comprueba que los identificadores de caso estén presentes y sean únicos, coteja la lista de identificadores con la esperada y compara las etiquetas por identificador. Dos reescrituras del ejemplo de ocho filas conservaron los mismos metadatos del pie de archivo y los mismos recuentos de etiquetas. En una, dos etiquetas pasaron a casos distintos. En la otra, solo cambió el orden de las filas intactas, por lo que se conservaron todos los pares. Estructura de los archivos Parquet
  • Números decodificados. Comprueba el tipo lógico y compara los números que leerás. En el ejemplo de decimales, cambiar la escala de 2 a 3 convirtió 12,34 en 1,234, aunque se conservaron los enteros almacenados y los bytes del bloque de columna. Especificación de decimales de Parquet
  • Fechas locales. Cuando un informe agrupe por día local, compara el día de cada evento en la zona horaria acordada. Con PyArrow 26.0.1, dos eventos conservaron sus instantes originales tras una reescritura sin metadatos de esquema de Arrow. Al leer en UTC, ambos quedaron en el 1 de julio. Con la zona acordada de Nueva York, uno volvió a quedar en el 30 de junio y el otro en el 1 de julio. Opciones de escritura de PyArrow

Basa cada comprobación en la propiedad acordada. Si el orden puede cambiar, una reordenación que conserve los pares supera la comprobación de casos y etiquetas. Si el contrato exige saber qué campos estaban presentes en cada fuente y no tienes los esquemas originales, aplaza esa comprobación hasta recuperar la evidencia.

Comprueba la conversión de datos COCO

Al convertir un conjunto de detección de objetos en formato COCO, compara las correspondencias de imágenes originales y exportadas. Verifica que cada imagen de origen tenga un identificador numérico distinto en la exportación y que sus anotaciones y predicciones sigan apuntando a la imagen prevista. Con una correspondencia de identificadores guardada y configurada, el exportador de FiftyOne probado convierte 01 y 1 en el mismo entero. El índice COCO probado conserva la última fila de imagen con ese identificador y agrupa las anotaciones bajo él. Resuelve los identificadores duplicados antes de calcular las puntuaciones. Exportador de FiftyOne · Índice de COCO

Conserva los identificadores originales si puedes. Si deben cambiar, conserva su orden numérico relativo y vuelve a calcular la precisión media (AP) en los datos originales y en los convertidos. Usa la misma revisión del evaluador, la misma configuración y puntuaciones de predicción sin redondear. Vincula las predicciones con las imágenes correspondientes en cada ejecución. Incluye una comprobación pequeña con dos detecciones de la misma categoría, con igual confianza y en imágenes distintas. Una debe coincidir con una anotación de referencia y la otra ser un falso positivo. El evaluador COCO probado ordena por identificador de imagen y conserva ese orden cuando hay un empate de puntuación entre imágenes. Por eso, renumerar las imágenes puede cambiar la AP aunque las coincidencias de detección se mantengan. Resuelve cualquier diferencia de puntuación antes de comparar versiones. Orden de las imágenes en COCO · Acumulación de puntuaciones en COCO

sapien1 ayuda a los equipos a evaluar sus conjuntos de datos y a planificar evaluaciones a partir de las tareas que debe realizar un sistema de IA. Después de revisar los datos, consulta nuestra guía de evaluación de agentes. Si la revisión identifica una carencia de datos, nuestra guía para conseguir datos puede ayudarte a definir qué buscar.