Перейти к основному содержанию

Меню

Поиск данных для обучения и оценки систем ИИ

Язык страницы: Русский

Опишите задачу для модели, необходимые материалы и разрешённые способы их использования. sapien1 может помочь определить потенциальные источники и параметры выборки, а также критерии для принятия решения о дальнейших действиях. Расскажите sapien1 о своём проекте

Ищите данные, подходящие для задачи вашей системы ИИ. sapien1 помогает сформулировать требования, найти возможные источники и оценить, подходит ли набор данных для обучения, оценки или поиска информации.

Начните с поведения, которое хотите улучшить. Например, система должна понимать документы, выполнять рабочий процесс, пользоваться инструментом или интерпретировать происходящее в сцене. От выбора зависят нужные примеры, контекст и проверки качества.

Определите, для чего нужны данные

Один и тот же набор можно использовать по-разному. Обучающие примеры учат систему определённому поведению, а оценочные позволяют его проверить. Материалы для поиска дают системе информацию, к которой можно обратиться при ответе на вопрос.

Опишите предполагаемое использование до сравнения источников. В обучающем примере для агента службы поддержки можно объединить обращение, применимое правило и выполненное действие. В задаче для оценки также нужен понятный способ проверить, верное ли решение было принято. В наборе для поиска должны быть сами правила и контекст, позволяющий определить, какая версия действует.

Что включить в требования к поиску данных

ТребованиеЧто описать
ЗадачаЧто должна выполнять модель или агент и с чем сейчас возникают сложности
ОхватЗначимые области, языки, регионы, периоды и сложные случаи
Виды данныхДокументы, код, записи, аудио, изображения, видео, журналы использования инструментов или их сочетание
КонтекстМетки, отметки времени, связи, инструкции или результаты, необходимые для понимания примера
Предполагаемое использованиеОбучение, оценка или поиск информации, включая способ доступа к данным
ПриёмкаЧто должна показать полезная выборка до расширения проекта

В первой версии требований могут оставаться открытые вопросы. Конкретная задача и несколько показательных примеров обычно дают более полезную отправную точку, чем одна лишь цель по числу файлов.

Оцените выборку до расширения проекта

Проверка выборки помогает обнаружить недостающий контекст, несогласованные метки, дубликаты и ситуации, которых нет в данных. Команда также может проверить предложенный формат в своём рабочем процессе. Пример такой проверки есть в нашем руководстве по покупке данных для обучения ИИ.

Фиксируйте источник и разрешённые способы использования вместе с технической оценкой. Описание набора должно ясно объяснять его содержание и существенные ограничения. Для подготовки документации пригодится руководство Hugging Face по карточкам наборов данных.

Чтобы узнать, как владельцу описать коллекцию и какие разрешения проверить, прочитайте что подготовить перед лицензированием данных вашей компании.

Если у вас в собственности есть коллекция, которую вы хотите обсудить, опишите свои данные.

В проекте с sapien1 стороны совместно определяют объём поиска данных, порядок проверки выборки, состав поставки и критерии приёмки. Следующим шагом может стать целевой сбор, оценка данных, которые у вас уже есть, или набор задач для оценки агентов.