Cómo aceptar entregas periódicas de datos para IA
Idioma: Español
Comparte el esquema esperado, la frecuencia de entrega y qué haría que un lote no pudiera utilizarse. Podemos ayudar a definir el alcance de las comprobaciones de aceptación y un registro de lo que se ha aceptado o necesita corrección. Describe tu proyecto a sapien1
Antes de aplicar una entrega periódica de un conjunto de datos, compárala con la última versión que aceptó tu equipo. Comprueba si los nuevos archivos sustituyen la colección acordada o contienen cambios a partir de una versión concreta. Los archivos pueden superar las comprobaciones aunque la actualización parta de una versión incorrecta.
Comprueba qué abarca la nueva entrega
Pide el identificador de la entrega, su alcance y su manifiesto. Si es una sustitución, confirma qué abarca el conjunto completo. Si es un conjunto de cambios, comprueba la versión de partida requerida y cómo identifica el proveedor las altas, las actualizaciones y las bajas. Un registro puede no aparecer en un archivo de cambios porque no ha cambiado. AWS Data Exchange describe tanto conjuntos de datos completos actualizados como revisiones que contienen datos nuevos desde la revisión anterior. Documentación de AWS Data Exchange sobre revisiones
Compara los nombres de archivo y sus sumas de comprobación con el manifiesto que acordaste utilizar. Comprueba por separado que la versión de partida y los cambios en los registros se ajustan al acuerdo de entrega. BagIt describe los manifiestos de archivos y la verificación de las sumas de comprobación. Especificación de BagIt
Aplica la actualización en un entorno de pruebas y comprueba los registros resultantes
En este ejemplo ficticio, un comprador utiliza un feed de catálogo para seleccionar registros para un conjunto de entrenamiento. Sus comprobaciones exigen la versión de partida exacta y un destino activo para cada registro fusionado al que haga referencia el conjunto de entrenamiento. La última versión aceptada es R12, con los identificadores activos A14, A27, A38 y A52. El primer paquete de R13 supera las comprobaciones de archivos. Requiere R11 como versión de partida. El comprador sigue utilizando R12 y solicita un conjunto de cambios a partir de R12 o una sustitución completa para el alcance acordado.
El proveedor envía R13b, una corrección que indica R12 como versión de partida. El comprador comprueba los nuevos archivos y aplica los cambios a una copia en un entorno de pruebas autorizado para esos datos.
| Registro | Cambio o estado esperado en R13b | Comprobación antes de aceptar R13b |
|---|---|---|
A14 | Cambiar el tema de returns a exchanges | Comprueba el valor anterior en R12 y el nuevo en el resultado de pruebas. |
A27 | Fusionar con A38 | Comprueba que A27 sale del conjunto activo y que las referencias actuales apuntan a A38. |
A38 | Sigue siendo el registro activo que se conserva tras la fusión | Comprueba que el destino de la fusión está presente. |
A52 | No aparece en el conjunto de cambios | Comprueba que el registro sin cambios sigue activo. |
A65 | Añadir un registro | Comprueba que el nuevo identificador aparece una sola vez. |
Los identificadores activos resultantes deberían ser A14, A38, A52 y A65. Contar las filas no revelaría el cambio de identificadores, ya que ambas versiones tienen cuatro registros activos. Si faltara A38, el comprador dejaría R13b en espera y pediría al proveedor que resolviera la referencia rota. Una vez superadas las comprobaciones, el comprador registra R13b aceptada y R13 en espera por discrepancia en la versión de partida, junto con la huella digital del manifiesto de cada paquete.
Mantén utilizables las referencias actuales e históricas
Pregunta si un registro dado de baja tiene un identificador que siga activo. OpenAlex incluye en su archivo de bajas los identificadores de trabajos retirados al fusionarlos con otros. Su mapa de fusiones es independiente y se mantiene en la medida de lo posible. Para los identificadores que figuran en él, indica el que sigue activo. Si tu acuerdo permite conservar los identificadores, registra el identificador recibido, el identificador al que apunta actualmente y la versión de entrega utilizada para resolverlo. Comprueba que el identificador resultante está activo en esa versión. Documentación de sincronización de OpenAlex
Si necesitas reconstruir un conjunto de entrenamiento anterior tras migrar una tabla, registra el selector original, la referencia de destino propuesta y la zona horaria y el reloj en que se basa cualquier fecha y hora de corte. Prueba ambos selectores en los sistemas correspondientes antes de usarlos. En una prueba local de sapien1 con tablas Delta vacías e Iceberg 1.12.0, una instantánea anterior seguía siendo accesible a través de su etiqueta de versión. Una búsqueda con la hora del segundo archivo de registro de Delta no encontró ninguna entrada correspondiente en el historial publicado de Iceberg. Estudio sobre la migración a Iceberg
Registra la decisión para la próxima entrega
Registra la versión de partida, la versión recibida y el identificador o la huella digital del manifiesto, las comprobaciones de identificadores activos, las referencias sin resolver y la decisión de aceptar o pedir una corrección. Pregunta al proveedor qué significa un aviso de baja según el acuerdo y sigue las reglas aplicables a las copias o los identificadores que conserves.
Para recibir ayuda con las comprobaciones de aceptación, escribe a sapien1 e indica la última versión aceptada, el formato de actualización y la decisión que debes tomar.
Si todavía estás eligiendo proveedor, empieza por cómo comprar datos de entrenamiento para IA. Si necesitas ayuda para definir la tarea y los datos que requiere, consulta búsqueda de fuentes de datos.