Перейти к основному содержанию

Меню

Оцените, подходит ли датасет для вашей задачи ИИ

Язык: Русский

Расскажите, как вы планируете использовать данные, и предоставьте схему и описание выборки. Мы можем определить объём проверки охвата, качества и разрешений и подготовить выводы о том, какие способы использования подтверждаются имеющимися данными. Расскажите sapien1 о своём проекте

Оценка датасета помогает понять, можно ли опираться на имеющиеся данные при принятии конкретного решения об обучении, поиске информации или оценке. Сначала определите задачу, затем изучите примеры, их контекст и метки, покрытие нужных ситуаций и способ разделения данных.

Например, тестовая выборка может выглядеть полной и при этом содержать случаи, которые модель уже видела при обучении. Это важно, если по тесту нужно оценить работу на новых случаях. В ходе проверки выясните, что удалось проверить, что нужно исправить и какие выводы можно сделать на основании оставшихся данных.

Начните с решения, которое нужно принять

Запишите, как вы хотите использовать датасет. Одни и те же записи могут быть полезны для одной цели и недостаточны для другой.

ЦельНа какой вопрос нужно ответить
Обучение или дообучениеОтражают ли примеры и метки поведение, которое должна освоить модель?
Оценка модели или агентаМожно ли проверить ожидаемые результаты и независимы ли тестовые случаи от материалов, использованных для обучения или настройки системы?
Поиск информацииАктуальны ли материалы, можно ли их интерпретировать и доступны ли они системе в нужный момент?

Запишите версию датасета, источник, диапазон дат, поля и известные ограничения. В карточке датасета могут быть описаны содержимое, контекст и метаданные. Сопоставьте её с фактическими файлами и применимыми условиями использования.

Пример проверки документации — репозиторий lerobot/svla_so101_pickplace на ревизии f641879, проверенный 17 ноября 2026 года. В карточке датасета есть пример метаданных с codebase_version v2.1 и путями к файлам по эпизодам. В фактических метаданных той же ревизии указаны codebase_version v3.0 и пути к файлам, организованным по блокам. В каталоге данных есть файл с именем по этому шаблону. Прежде чем полагаться на путь из карточки, проверьте метаданные и файлы именно той ревизии репозитория, которую собираетесь использовать. Такое сравнение не устанавливает качество примеров и их пригодность для обучения.

Прежде чем объединять записи работы роботов, выясните, что означают каналы действий и состояний и какой интервал времени соответствует фиксированному числу шагов. И FineART, и датасет симуляции ALOHA указывают aloha и 14-мерные векторы действий и состояний типа float32. FineART указывает 30 кадров в секунду, а датасет симуляции — 50. Если каждый шаг соответствует одному межкадровому интервалу при заявленной частоте, 15 шагов занимают 0,5 секунды в одном датасете и 0,3 секунды в другом. Прежде чем считать такие окна равнозначными, проверьте записанные временные параметры и то, как ваш контур обработки выбирает шаги. Метаданные FineART · Метаданные симуляции ALOHA

Проверьте разделение данных и контекст на примере

Допустим, команда хочет использовать существующий датасет с размеченными обращениями в поддержку для проверки перед выпуском агента, который обрабатывает новые диалоги. В датасете 120 примеров: 90 в обучающей выборке и 30 в предлагаемой тестовой. Для каждого примера должны быть указаны идентификатор обращения, идентификатор диалога, применимая версия правил и ожидаемое следующее действие.

Пример вымышленный. Команда проверяет 30 тестовых случаев и сравнивает их с обучающей выборкой. Вот что она находит.

ПроверкаРезультатЧто это значит для решения
Повторяющиеся обращенияПодтверждено, что четыре тестовых случая копируют случаи из обучающей выборки.Все четыре случая уже есть в обучающих данных.
Общие диалогиЕщё у трёх тестовых случаев другие идентификаторы обращений, но они относятся к диалогам из обучающей выборки.Это дополнительные совпадения между выборками в тесте, который должен проверять работу на новых диалогах.
Контекст правилУ двух из оставшихся 23 тестовых случаев нет ссылки на версию правил.По записанному контексту проверяющий пока не может сверить ожидаемое действие с применимыми правилами.

Первые две проверки выявляют семь разных тестовых случаев. Остаётся 23 случая без таких совпадений. У двух из них нет контекста правил, поэтому остаётся 21 тестовый случай, в котором эти проверки не выявили проблем. По этому числу нельзя судить, верны ли метки, достаточно ли покрытие и хватит ли 21 случая для решения о выпуске.

Команде следует отложить использование текущей выборки для независимой проверки новых диалогов перед выпуском. Отделите отмеченные случаи для разбора, восстановите недостающий контекст или устраните связанную с ним проблему. Установите, какие случаи уже видели модель и команда разработки. Перестановка файлов не отменяет прежнего использования случаев. При новом разделении помещайте каждый диалог целиком в одну выборку и сопоставляйте тестовые случаи с зафиксированными данными обучения и выбора модели. Если невозможно проверить происхождение прежних обучающих данных, укажите это ограничение. Если полученные ранее результаты повлияли на настройку, выделите новые случаи, которые не использовались при этих решениях. При необходимости заново обучите модель на разделённых данных.

Рекомендации Google по разделению датасетов объясняют, почему дубликаты в обучающей и тестовой выборках могут завышать оценку работы на новых примерах. Руководство scikit-learn по групповой перекрёстной проверке описывает, как сохранять связанные наблюдения одной группы вместе при оценке работы на неизвестных группах. Группа зависит от задачи: это может быть диалог, клиент или документ. Если в тесте подписей к изображениям нужны изображения, которых нет в обучающей выборке, храните все подписи к одному изображению вместе. При независимом распределении строк с подписями одно изображение может попасть и в обучение, и в тест. Для теста на будущих данных используйте разделение с учётом времени, чтобы обучение не включало наблюдения после тестового периода.

Допустим, команда также хочет проверить новые диалоги после контрольной даты. При новом разделении у диалога A есть записи по обе стороны этой даты, а первая зафиксированная запись диалога B сделана после неё. Можно исключить A из обеих выборок и отложить B для теста при условии, что его записи ранее не использовались для обучения или выбора модели. Оставьте в обучающей выборке данные до контрольной даты, а всю тестовую выборку проверьте на предыдущее использование. Запишите исключения и проверьте, охватывают ли оставшиеся случаи целевой сценарий. Для продолжающихся диалогов можно провести отдельный тест с учётом времени. Если история неполна, подтвердить, что B — новый диалог, может оказаться невозможно.

Уточните, как инструмент на самом деле распределяет данные, прежде чем считать неуказанную долю отложенной выборкой. Например, функция LeRobot для разделения по долям на ревизии 7910c20 распределяет все 50 эпизодов вымышленного набора, если указать train: 0.6, а затем test: 0.2. В обучение попадут 30, в тест — 20, и нераспределённых эпизодов не останется. Другие инструменты и версии могут вести себя иначе. Для малых наборов могут потребоваться округление или перераспределение. Проверьте фактический состав каждой выборки. Если группы нельзя разрывать, выберите и зафиксируйте списки эпизодов, сохраняющие эти группы целиком.

Исследовательская заметка о LeRobot разбирает, как новый процессор Diffusion может получить сохранённые статистики нормализации, и сравнивает их диапазоны со сводкой по обучающим эпизодам в гипотетическом разделении с отложенной выборкой. Проверьте происхождение и охват статистик, загружаемых вашим процессором.

Проверьте разметку и покрытие

Для размеченных данных сравните часть ожидаемых ответов с инструкциями и доказательствами, на основе которых их составили. Специалист в предметной области может разобраться в недостающем контексте, несогласованных метках и случаях, где правильный ответ действительно неоднозначен. Зафиксируйте разногласия и способ их разрешения. Согласие проверяющих полезно, а правильность метки требует проверки по имеющимся данным. В исследовании об управлении качеством разметки проверка, согласие и разрешение разногласий рассматриваются как разные части процесса.

Для числовых меток классов нужно сопоставление идентификаторов с названиями и определениями классов. Сравните эти определения и идентификаторы в разных версиях и выборках датасета, а также с тем сопоставлением, которое ожидает модель. Опишите изменения в сопоставлении идентификаторов и порядок работы с отсутствующими или объединёнными классами. В руководстве Ultralytics Platform по датасетам указано, что объединение или удаление классов может сдвинуть последующие идентификаторы. Из-за этого старые выгрузки могут перестать соответствовать обновлённому списку классов. Проверьте сопоставление в собственных выгрузках и контуре обработки.

Проверьте, охватывает ли датасет важные для задачи ситуации: типичные запросы, значимые исключения, языки, периоды и другие группы. Для группы с малым числом примеров могут понадобиться дополнительные данные или отдельный анализ. Необходимое число примеров зависит от задачи и может различаться по группам.

Задокументируйте, как отбирали примеры для проверки. Ручной отбор может помочь обнаружить проблему, но долю ошибок в таком наборе нельзя считать долей ошибок во всём датасете. Рекомендации Google по формированию выборки описывают, как способ отбора может исказить выводы о генеральной совокупности.

Даже случайная выборка может пропустить ошибки. Допустим, отдельная вымышленная партия содержит 120 записей, в шести из которых метки неверны. При равновероятном случайном выборе 20 разных записей без возвращения примерно в 33% выборок не будет ни одной из этих шести. Отбор 47 записей снижает вероятность пропустить все шесть ниже 5% при условии, что проверяющие находят каждую неверную метку среди отобранных записей. Это пример планирования с заданным числом ошибок. Отсутствие ошибок в выборке не устанавливает, что их ровно шесть, и не доказывает, что все остальные записи правильны. Подберите размер выборки с учётом частоты ошибок и допустимой вероятности их пропустить при вашем решении. Запишите, как примеры отбирали и проверяли. Введение NIST в выборочный контроль охватывает отбор и размер выборки, а исследование качества разметки объясняет статистическую оценку качества и выборочный приёмочный контроль.

Сравнить результаты чтения на разных языках

Решите, что поменять

Определите, какие действия команда может предпринять по результатам проверки.

  • Исправить. Восстановите контекст, исправьте подтверждённые ошибки или обновите инструкции по разметке, затем заново проверьте затронутые записи.
  • Ограничить использование. Используйте датасет только для тех задач или групп данных, для которых он подходит, и опишите известные пробелы.
  • Отложить использование. Не используйте датасет для запланированного обучения или решения о выпуске до устранения существенной проблемы.
  • Добавить данные. Соберите или найдите примеры для недостающих ситуаций либо подготовьте новую тестовую выборку, которую ещё не использовали для обучения или настройки.

Сохраните идентификаторы исходной и исправленной версий. Запишите выполненные проверки, метод отбора, результаты, решения проверяющих и открытые вопросы, чтобы другая команда могла понять, что изменилось и почему.

Проверьте перезаписанный датасет Parquet

При перезаписи поставки в формате Parquet определите, какие свойства новые файлы должны сохранить для вашей задачи. Запишите версии исходных и новых файлов и выполните проверки тем же средством чтения, которым команда пользуется на следующих этапах. Данные в примерах вымышлены.

  • Поля в исходных файлах. Сохраните схему каждого исходного файла, если нужно отличать отсутствующее поле от явно заданного null. В нашем примере с DuckDB 1.4.4 перестановка источников, в которых поле отсутствовало, дала одинаковые объединённые файлы даже при сохранённых именах источников. Исходные схемы выявили оба изменения. Объединение схем в DuckDB
  • Пары «обращение — метка». Проверьте, что идентификаторы всех обращений присутствуют и уникальны, затем сверьте их с ожидаемым списком и сравните метки по идентификаторам. Обе перезаписи в восьмистрочном примере сохранили одинаковые метаданные в футере и количество меток каждого вида. В одном варианте две метки перешли к другим обращениям. В другом перестановка целых строк сохранила каждую пару. Структура файла Parquet
  • Декодированные числа. Проверьте логический тип и сравните числовые значения при чтении. В примере с десятичными числами изменение масштаба с 2 до 3 превратило 12,34 в 1,234, хотя сохранённые целые числа и байты блока столбца остались прежними. Спецификация десятичных чисел Parquet
  • Локальные даты. Если отчёт группирует события по локальным датам, сравните дату каждого события в согласованном часовом поясе. В PyArrow 26.0.1 два события сохранили исходные моменты времени после перезаписи без метаданных схемы Arrow. При чтении в UTC оба попали на 1 июля. Согласованный часовой пояс Нью-Йорка вернул распределение на 30 июня и 1 июля. Параметры записи PyArrow

Основывайте каждую проверку на согласованном свойстве. Если порядок можно менять, перестановка с сохранением пар проходит проверку идентификаторов и меток. Если договор требует проверять наличие поля в каждом источнике, а исходные схемы недоступны, отложите эту проверку до восстановления доказательств.

Проверьте преобразование данных COCO

При преобразовании датасета COCO для детекции объектов сравните исходное и экспортированное соответствие изображений и идентификаторов. У каждого исходного изображения в экспорте должен быть один уникальный числовой идентификатор, а разметка и предсказания должны по-прежнему относиться к нужному изображению. При настроенном сохранённом сопоставлении протестированный экспортёр FiftyOne преобразует 01 и 1 в одно и то же целое число. Проверенный индекс COCO сохраняет последнюю строку изображения с этим идентификатором и группирует под ним аннотации. Устраните дубли идентификаторов перед расчётом метрик. Экспортёр FiftyOne · Индекс COCO

По возможности сохраните исходные идентификаторы. Если их нужно изменить, сохраните относительный числовой порядок и заново рассчитайте average precision (AP) на исходных и преобразованных данных. Используйте одинаковую ревизию и настройки средства оценки, а также неокруглённые оценки уверенности. В каждом запуске сопоставьте предсказания с нужными изображениями. Проведите небольшую проверку с двумя детекциями одной категории на разных изображениях при одинаковой уверенности. Одна должна соответствовать эталонной разметке, а другая быть ложноположительной. Протестированное средство оценки COCO сортирует идентификаторы и сохраняет полученный порядок при равной уверенности на разных изображениях. Поэтому перенумерация может изменить AP при тех же совпадениях детекций. Устраните любые расхождения метрики перед сравнением версий. Порядок изображений в COCO · Накопление результатов COCO

sapien1 помогает командам проверять датасеты и планировать оценку с учётом задач, которые должна выполнять система ИИ. После проверки данных воспользуйтесь нашим руководством по оценке агентов. Если проверка выявит пробелы, руководство по поиску данных поможет описать, какие данные нужны.