Поиск данных для обучения и оценки систем ИИ
Язык страницы: Русский
Опишите задачу для модели, необходимые материалы и разрешённые способы их использования. sapien1 может помочь определить потенциальные источники и параметры выборки, а также критерии для принятия решения о дальнейших действиях. Расскажите sapien1 о своём проекте
Ищите данные, подходящие для задачи вашей системы ИИ. sapien1 помогает сформулировать требования, найти возможные источники и оценить, подходит ли набор данных для обучения, оценки или поиска информации.
Начните с поведения, которое хотите улучшить. Например, система должна понимать документы, выполнять рабочий процесс, пользоваться инструментом или интерпретировать происходящее в сцене. От выбора зависят нужные примеры, контекст и проверки качества.
Определите, для чего нужны данные
Один и тот же набор можно использовать по-разному. Обучающие примеры учат систему определённому поведению, а оценочные позволяют его проверить. Материалы для поиска дают системе информацию, к которой можно обратиться при ответе на вопрос.
Опишите предполагаемое использование до сравнения источников. В обучающем примере для агента службы поддержки можно объединить обращение, применимое правило и выполненное действие. В задаче для оценки также нужен понятный способ проверить, верное ли решение было принято. В наборе для поиска должны быть сами правила и контекст, позволяющий определить, какая версия действует.
Что включить в требования к поиску данных
| Требование | Что описать |
|---|---|
| Задача | Что должна выполнять модель или агент и с чем сейчас возникают сложности |
| Охват | Значимые области, языки, регионы, периоды и сложные случаи |
| Виды данных | Документы, код, записи, аудио, изображения, видео, журналы использования инструментов или их сочетание |
| Контекст | Метки, отметки времени, связи, инструкции или результаты, необходимые для понимания примера |
| Предполагаемое использование | Обучение, оценка или поиск информации, включая способ доступа к данным |
| Приёмка | Что должна показать полезная выборка до расширения проекта |
В первой версии требований могут оставаться открытые вопросы. Конкретная задача и несколько показательных примеров обычно дают более полезную отправную точку, чем одна лишь цель по числу файлов.
Оцените выборку до расширения проекта
Проверка выборки помогает обнаружить недостающий контекст, несогласованные метки, дубликаты и ситуации, которых нет в данных. Команда также может проверить предложенный формат в своём рабочем процессе. Пример такой проверки есть в нашем руководстве по покупке данных для обучения ИИ.
Фиксируйте источник и разрешённые способы использования вместе с технической оценкой. Описание набора должно ясно объяснять его содержание и существенные ограничения. Для подготовки документации пригодится руководство Hugging Face по карточкам наборов данных.
Чтобы узнать, как владельцу описать коллекцию и какие разрешения проверить, прочитайте что подготовить перед лицензированием данных вашей компании.
Если у вас в собственности есть коллекция, которую вы хотите обсудить, опишите свои данные.
В проекте с sapien1 стороны совместно определяют объём поиска данных, порядок проверки выборки, состав поставки и критерии приёмки. Следующим шагом может стать целевой сбор, оценка данных, которые у вас уже есть, или набор задач для оценки агентов.