Перейти к основному содержанию

Меню

Как купить данные для обучения ИИ

Язык: Русский

Расскажите, чему должна научиться ваша модель и как вы будете оценивать пригодность выборки. Мы можем обсудить подходящие источники и сведения, которые стоит изучить, прежде чем вы решите, приобретать ли лицензию на коллекцию. Расскажите sapien1 о своём проекте

Вы можете приобрести лицензию на существующий набор данных, работать напрямую с владельцем данных или заказать сбор данных для конкретной задачи. Прежде чем принять решение, определите, чему должна научиться модель, проверьте образец на соответствие этому требованию и убедитесь, что предложенные условия разрешают предполагаемое использование.

Важно спросить не только «Какой объём данных доступен?», но и содержат ли записи примеры и контекст, которые ваша команда сможет использовать, а также распространяется ли согласованная лицензия на соответствующих людей, системы и цели.

Выберите, где взять данные

СпособКогда стоит рассмотретьО чём спросить в первую очередь
Существующий набор данныхВам нужна коллекция, которая, возможно, уже существует.Какие версия, поля, период и условия использования включены?
Прямое соглашение с владельцем данныхОдна организация располагает нужными записями или материалами.Кто может разрешить предполагаемое использование и какие материалы оно охватывает?
Сбор или подготовка данных на заказВ существующих материалах отсутствуют важные сценарии, форматы или метки.Что будет собрано или подготовлено, как будет проверяться качество и что можно будет использовать после этого?
Общедоступный набор данныхДоступная коллекция может подойти для задачи или послужить отправной точкой для сравнения.Что говорится в документации об источнике, ограничениях и разрешённом использовании?

Например, Opendatabay представляет площадку с предложениями наборов данных, а Clickworker описывает услуги по сбору и разметке данных на заказ. Это отправные точки для изучения: проверьте предложение и условия для конкретных данных, которые вам нужны.

В нашем руководстве по поиску источников данных рассказывается, как описать задачу, охват и формат до обращения к источнику.

Решите, что должно быть в каждом примере

Запишите, какого поведения вы ожидаете и какая информация нужна для его оценки. Для агента поддержки запись может содержать запрос клиента, действовавшую на тот момент политику, предпринятое действие и результат. Для модели работы с документами важными полями могут быть изображения страниц, извлечённый текст, расположение элементов и проверенные метки.

Если образец документов содержит размеченные прямоугольные области, проверьте, совпадают ли они с соответствующими участками переданных изображений. В одних форматах положение выражается в долях размеров страницы, в других — в пикселях. Уточните страницу, версию изображения, единицы измерения, начало координат, а также любые изменения размера, обрезку или поворот. Затем наложите несколько размеченных областей на изображения и проверьте их совпадение. Также проверьте, описывают ли метки нужные области.

Запросите описание точной версии набора данных: источник, размер и единицы измерения, охватываемый период, форматы, метки, известные исключения и историю обработки. В рекомендациях Hugging Face по карточкам наборов данных описано, как карточка может документировать содержимое, контекст и метаданные, например лицензию, язык и размер. Рассматривайте эти поля вместе с лежащей в их основе документацией.

Проверьте образец на соответствие требованиям

Согласуйте образец и проверки, прежде чем решать, стоит ли расширять работу. Включите типичные ситуации, с которыми столкнётся модель, и сложные случаи, важные для задачи. Зафиксируйте, как был выбран образец и какие части предлагаемой коллекции он представляет.

Условия площадки Origin Lab, изученные 18 ноября 2026 года, ограничивают использование определённых в них образцов с площадки внутренней оценкой и запрещают использовать их для тестирования или оценки системы ИИ, если применимое коммерческое соглашение, заключённое Origin Lab, прямо не предусматривает иное. Это ограничение для образцов не распространяется на отдельно определённые Bench Materials, для которых действуют собственные условия. Изучите конкретные условия образца и все соглашения, прежде чем просматривать, тестировать, использовать его для обучения или передавать другим.

Для образца речи с временными метками слов уточните, к какой записи они относятся и в каких единицах выражены. Если метки относятся к копии, из которой удалена тишина, запросите идентификатор исходной записи и карту соответствия сохранённых фрагментов исходной временной шкале. Проверьте слово после вырезанного участка внутри записи. В вымышленном примере, где без добавления паузы соединены фрагменты исходной записи с 2-й по 4-ю и с 7-й по 9-ю секунду, отметка 2,5 секунды в образце соответствует 7,5 секунды в исходной записи. Прибавление двухсекундного смещения первого фрагмента даёт 4,5 секунды — внутри удалённого участка. Сопоставление временных меток в NeMo Curator

Проверьте, как в переданных данных обозначены слова, интервалы временных меток которых пересекают место соединения фрагментов. В том же вымышленном примере проверенная вспомогательная функция faster-whisper выбрала одно смещение для обоих концов пересекающего соединение интервала и поместила его начало внутрь удалённого участка. Если для вашего использования нужен непрерывный интервал в исходной записи, до приёмки согласуйте, как отмечать и проверять такие случаи. Восстановление временных меток в faster-whisper · Расчёт смещения в faster-whisper

Рассмотрим вымышленный пример. Команда хочет дообучить агента поддержки, который рекомендует следующий шаг при запросе на возврат. Поставщик предлагает коллекцию обращений в поддержку. Команда запрашивает 12 примеров для проверки: шесть типичных возвратов и шесть исключительных случаев. Для первой проверки она требует, чтобы каждый пример содержал запрос клиента, ссылку на действовавшую версию политики и зафиксированный результат.

ПроверкаТребование к этому образцуПример результата
Запрос клиентаПрисутствует во всех 12 примерахЕсть в 12 из 12
Применимая версия политикиСсылка присутствует во всех 12 примерахЕсть в 10 из 12; в двух исключительных случаях ссылка отсутствует
Зафиксированный результатПрисутствует во всех 12 примерахЕсть в 11 из 12; в одном типичном случае результат отсутствует

Образец не проходит две из заявленных командой проверок. Следующий шаг — уточнить, можно ли восстановить недостающие ссылки на политику и результат, и изучить исправленный образец. Если это невозможно, команда может изменить требование или поискать другой источник. Зафиксированный результат не обязательно означает правильное решение: эксперт в предметной области также должен сопоставить результаты с применимой политикой.

Эти показатели относятся только к 12 выбранным случаям. Они не позволяют оценить частоту ошибок во всей коллекции. Чтобы оценить более широкий охват, уточните, как набор данных распределён по значимым сценариям, и согласуйте дополнительную выборку, сформированную по документированному методу. В рекомендациях Google по качеству данных и выборке объясняется, почему выбранный образец может создавать неверное представление о более широкой совокупности.

Предположим, что все 12 случаев относятся к 2024 году, а предлагаемая коллекция охватывает 2022–2024 годы. Проверка исправленной копии может подтвердить исправления в этих случаях, но не покажет, была ли исправлена остальная часть коллекции. Уточните, в какой версии набора данных и в каких записях сделаны исправления, затем согласуйте, как выбрать новый образец из версии, которую вы намерены купить. Если можно проверить только данные за 2024 год, оставьте 2022–2023 годы без оценки и решите, стоит ли сократить объём покупки или дождаться более широкой проверки.

Если для первоначальной проверки нельзя передать реальные записи, уточните, возможны ли обезличенный образец или контролируемый доступ. Синтетический пример может показать формат, но не может подтвердить качество или охват реальной коллекции.

До получения образца согласуйте, как будут применяться ограничения доступа: запрос, выбирающий определённые столбцы, сам по себе не ограничивает доступ к остальной части исходного файла. Футер файла Parquet также может содержать статистику по столбцам. Если отправителю нужно ограничить передаваемую информацию, рассмотрите отдельно подготовленный образец с согласованными полями или сервис, который обеспечивает доступ на уровне полей. Проверьте метаданные и средства контроля доступа вместе с полученными записями.

Проверьте, как разрешено использовать данные

Сопоставьте соглашение и подтверждающие документы с конкретным набором данных и проектом. С поставщиком и специалистами, отвечающими за юридическую проверку и закупку, стоит обсудить следующие вопросы:

  • Какая версия набора данных охвачена соглашением и уполномочен ли поставщик разрешать предполагаемое использование?
  • Включают ли условия обучение, дообучение, оценку или поиск данных там, где это необходимо? Охватывают ли они коммерческое развёртывание и любые применимые ограничения в отношении моделей или их выходных данных?
  • Кто может получать доступ к данным или обрабатывать их, включая подрядчиков и поставщиков услуг? Каковы условия передачи, хранения, сроков хранения и удаления?
  • Есть ли исключения, права исходных правообладателей, материалы третьих лиц или другие ограничения, которые необходимо проверить? Какие подтверждения доступны в обоснование сведений поставщика о происхождении данных и разрешениях на их использование?

Отдельно запишите, что подтверждено, а что ещё требует проверки. Обозначение лицензии или карточка набора данных помогают определить заявленное разрешённое использование, но сами по себе не подтверждают лежащие в его основе права. Аудит общедоступных наборов текстовых, речевых и видеоданных выявил различия между описаниями лицензий на уровне наборов данных и ограничениями, связанными с исходными материалами. Эти выводы относятся к изученным общедоступным наборам данных, а не ко всем коммерческим коллекциям.

Например, закреплённая карточка общедоступного исследовательского набора данных SciFact указывает для него лицензию CC BY-NC 2.0 и ссылается на файл лицензии в ветке master репозитория, который может измениться. В закреплённом снимке этой лицензии в репозитории отдельно указаны CC BY 4.0 для утверждений и аннотаций доказательств, ODC-By 1.0 для аннотаций публикаций в корпусе и Apache 2.0 для кода. Документы могут описывать разные версии, компоненты или преобразования; сами по себе они не устанавливают условия для конкретного файла. Сопоставьте переданные файлы и их исходные компоненты с соответствующей документацией и передайте нерешённые вопросы о правах на проверку.

Спланируйте оценку и передачу данных

Определите, как данные будут передаваться и приниматься: форматы файлов, манифест или идентификатор версии, документацию, проверки образцов и порядок исправления проблем. Если данные также будут использоваться для оценки модели, не допускайте попадания отдельного тестового набора в обучение и проверьте, нет ли дубликатов между частями выборки. В рекомендациях Google по разделению наборов данных объясняется, как дубликаты могут создать завышенное представление о результатах тестирования.

Уточните, когда начинается срок проверки, как направить уведомление, что означает отсутствие ответа и какие способы урегулирования предусмотрены. Например, версия 1.0 стандартной лицензии ai.market на данные для обучения ИИ даёт покупателю семь календарных дней после первой поставки, чтобы уведомить площадку о существенном несоответствии описанию в предложении. Основные условия micro1, обновлённые 12 ноября 2026 года, дают micro1 как лицензиату 30 рабочих дней после завершения поставки согласно манифесту, чтобы письменно отклонить данные. Отдельный порядок начала срока применяется, если поставщик письменно уведомляет micro1 о невозможности поставить оставшиеся данные. Эти документы относятся к разным сделкам и содержат дополнительные условия и исключения. Изучите условия и версию, действующие для вашего заказа.

Манифест может содержать перечень ожидаемых файлов и контрольных сумм для согласованной версии набора данных. Согласуйте, как вы будете проверять источник манифеста, сравнивать его перечень файлов с полученными файлами и выяснять причины отсутствия, появления лишних файлов или несовпадений. Например, если в вымышленном манифесте указаны два файла, а получен только один, совпадение контрольной суммы этого файла не делает поставку полной. Спецификация BagIt для одного из форматов упаковки различает проверку полноты и проверку контрольных сумм. Совпадение контрольной суммы означает, что вычисленный хеш файла соответствует указанному в манифесте; само по себе оно не подтверждает личность отправителя, правильность меток, репрезентативность охвата или права на использование данных. Проверьте эти вопросы отдельно.

Когда поставщик отправит следующую версию, узнайте, как принимать регулярные поставки данных для ИИ.

Подробный пример проверки утечки данных из тестового набора и отсутствующего контекста см. в нашем руководстве по оценке наборов данных.

sapien1 помогает командам определять требования к данным, находить возможные источники и оценивать образцы. Начните с задачи, необходимых примеров и решения, для которого нужен образец. Владельцы данных, готовящиеся к обсуждению, могут воспользоваться нашим руководством по подготовке к лицензированию данных.