Перейти к основному содержанию

Меню

Как принимать регулярные поставки данных для ИИ

Язык: Русский

Укажите ожидаемую схему, частоту поставки и критерии, по которым партия будет признана непригодной. Мы можем помочь определить приёмочные проверки и способ фиксировать, что прошло проверку, а что требует исправления. Расскажите sapien1 о своём проекте

Прежде чем применять очередную поставку набора данных, сравните её с последней версией, которую приняла ваша команда. Проверьте, заменяют ли новые файлы согласованный набор целиком или содержат изменения относительно определённой исходной версии. Файлы могут пройти проверку, даже если обновление рассчитано не на ту версию.

Проверьте, что входит в новую поставку

Запросите идентификатор выпуска, охват поставки и манифест файлов. При полной замене подтвердите охват полного набора. Если поставляется набор изменений, проверьте, какая исходная версия требуется и как поставщик обозначает добавления, обновления и удаления. Запись может отсутствовать в файле изменений, если она не менялась. Документация AWS Data Exchange описывает как целиком обновлённые наборы данных, так и ревизии с данными, добавленными после предыдущей ревизии. документация AWS Data Exchange о ревизиях

Сверьте имена файлов и их контрольные суммы с манифестом, который вы согласовали. Затем отдельно проверьте, соответствуют ли исходная версия и изменения записей условиям поставки. Спецификация BagIt описывает манифесты файлов и проверку контрольных сумм. спецификация BagIt

Примените обновление в подготовительной среде и проверьте полученные записи

В этом вымышленном примере покупатель отбирает записи для обучающего набора из потока каталожных данных. Для прохождения проверок требуется точное совпадение исходной версии и наличие активной целевой записи для каждой объединённой записи, на которую ссылается обучающий набор. Последняя принятая версия — R12 с активными идентификаторами A14, A27, A38 и A52. Первый пакет для R13 проходит проверку файлов. Однако ему требуется исходная версия R11. Покупатель продолжает использовать R12 и запрашивает набор изменений от R12 или полную замену в согласованном объёме.

Поставщик присылает исправление R13b, в котором исходной версией указана R12. Покупатель проверяет новые файлы и применяет изменения к копии в подготовительной среде, допущенной к обработке этих данных.

ЗаписьИзменение или ожидаемое состояние в R13bЧто проверить перед приёмом R13b
A14Изменить тему с returns на exchangesПроверьте старое значение в R12 и новое в результате обновления в подготовительной среде.
A27Объединить с целевой записью A38Проверьте, что A27 исключён из активного набора и текущие ссылки ведут на A38.
A38Остаётся активной записью после объединенияУбедитесь, что целевая запись объединения существует.
A52Отсутствует в наборе измененийПроверьте, что неизменённая запись остаётся активной.
A65Добавить записьПроверьте, что новый идентификатор встречается один раз.

После обновления активными должны быть идентификаторы A14, A38, A52 и A65. Подсчёт строк не выявит замену идентификаторов: в обеих версиях по четыре активные записи. Если бы A38 отсутствовал, покупатель приостановил бы приём R13b и попросил поставщика исправить нарушенную ссылку. В этом примере после успешной проверки покупатель записывает R13b принят и приём R13 приостановлен из-за несовпадения исходной версии, а также хеш манифеста каждого пакета.

Сохраните возможность пользоваться текущими и историческими ссылками

Уточните, остаётся ли после удаления записи идентификатор, на который можно ссылаться. В файле удалений OpenAlex перечисляет идентификаторы работ, удалённых при объединении. Отдельная карта объединений указывает актуальный оставшийся идентификатор для перечисленных в ней позиций, насколько это позволяют имеющиеся сведения. Если соглашение разрешает хранить идентификаторы, запишите полученный идентификатор, его текущий идентификатор назначения и версию поставки, по которой вы определили соответствие. Убедитесь, что целевой идентификатор активен в этом выпуске. документация OpenAlex по синхронизации

Если после миграции таблицы потребуется воссоздать прежний обучающий набор, запишите старый селектор, предлагаемую ссылку в целевой системе, а также часовой пояс и часы, по которым определялся любой временной порог. Прежде чем полагаться на селекторы, проверьте оба в соответствующих системах. При локальном воспроизведении миграции пустых таблиц Delta с помощью Iceberg 1.12.0 в sapien1 предыдущий снимок оставался доступен по тегу версии. Поиск по времени второго файла журнала Delta не нашёл соответствующей записи в опубликованной истории Iceberg. исследование миграции с помощью Iceberg

Зафиксируйте решение для следующей поставки

Запишите исходную версию, полученный выпуск и идентификатор или хеш его манифеста, результаты проверки активных идентификаторов, неразрешённые ссылки и решение о приёме или исправлении. Уточните у поставщика, что означает сигнал удаления по вашему соглашению, и соблюдайте правила, применимые к копиям и идентификаторам, которые вы храните.

Если нужна помощь с определением проверок при приёмке, напишите команде sapien1 и укажите последнюю принятую версию, формат обновления и решение, которое вам нужно принять.

Если вы ещё выбираете поставщика, начните с руководства как покупать данные для обучения ИИ. Чтобы определить задачу и нужные для неё данные, см. руководство поиск источников данных.