Исследования
Для отложенных эпизодов LeRobot могут использоваться статистики нормализации с более широким охватом
Команда может отделить эпизоды робота для оценки и при этом использовать статистики предобработки, охватывающие данные за пределами обучающих эпизодов. Мы проследили один путь обучения в LeRobot и проверили публичный снимок метаданных. При гипотетическом разделении на 40 обучающих и 10 оценочных эпизодов сохранённые диапазоны состояния и действия выходят за пределы диапазонов обучающих эпизодов каждый в трёх из шести измерений. Это сравнение сохранённых метаданных, а не наблюдение за запуском обучения или результат оценки качества модели. Пример показывает, почему при проверке отложенной выборки следует учитывать как список эпизодов, так и статистики, переданные процессору.
Разделение эпизодов и выбор статистик — отдельные решения
В коммите LeRobot 7910c20 настроенный параметр eval_split группирует выбранные эпизоды по их первой указанной задаче и относит последние ceil(group size × eval_split) эпизодов из каждой группы к оценочной выборке. В конфигурации по умолчанию разделения для оценки нет; в примере ниже оно задано намеренно. Код создаёт отдельные объекты обучающего и оценочного наборов данных на основе списков эпизодов, используя один корневой каталог и одну ревизию набора данных.
Загрузчик метаданных набора данных отдельно загружает meta/stats.json. В изученном пути обучения при создании процессоров новая политика Diffusion, обучение которой не возобновляется и для которой не указан путь к предобученному процессору, получает статистики из метаданных набора данных. Конфигурация Diffusion по умолчанию использует нормализацию min-max для состояния и действия. Этот анализ исходного кода относится к указанным конфигурации и версии; другие политики, переопределения, предобученные процессоры или процессоры из возобновлённых запусков, форматы и версии могут работать иначе.
Мы не запускали загрузчик набора данных или политику. Схема описывает изученный путь в исходном коде при указанных условиях, а не фактический запуск.
Пример метаданных
Публичный снимок lerobot/svla_so101_pickplace в ревизии f641879 описывает 50 эпизодов и 11 939 кадров. Все 50 записей эпизодов имеют один и тот же ключ группировки по первой задаче. Если эпизоды предварительно не выбраны и не исключены и задано eval_split=0.2, изученное правило отнесёт 40 эпизодов к обучению и 10 к оценке. В сводках этих эпизодов указано 9 180 и 2 759 кадров соответственно.
Сохранённые статистики observation.state и action содержат количество 11 939 для каждой. Их массивы min/max совпадают с агрегированными значениями из сводок всех 50 эпизодов в пределах абсолютного и относительного допуска 1e-6. При прямом сравнении с экстремальными значениями, агрегированными по гипотетическим 40 обучающим эпизодам, сохранённые диапазоны выходят за их пределы в трёх из шести измерений для каждого признака. Это количество не меняется и при требовании, чтобы разница превышала допуск math.isclose с относительной и абсолютной погрешностью 1e-6.
| Признак | Измерения, в которых сохранённый диапазон выходит за пределы диапазона обучающих эпизодов | Наименьшая ширина диапазона обучающих эпизодов как доля сохранённого диапазона |
|---|---|---|
observation.state | 3 из 6 | 84,3% |
action | 3 из 6 | 84,2% |
Каждый процент — это наименьшее отношение ширины диапазонов среди шести измерений соответствующего признака; две строки могут описывать разные измерения. Полосы сравнивают ширину, а не то, где начинаются и заканчиваются диапазоны. Расчёт для 40 эпизодов включает все кадры, указанные для этих эпизодов. Реальный механизм выборки может отбрасывать конечные кадры, выбирать окна или использовать другие правила отбора, поэтому этот расчёт не измеряет позиции, использованные реальным оптимизатором.
Сводки отложенных эпизодов также расширяют агрегированный диапазон всех эпизодов за пределы агрегированного диапазона 40 обучающих эпизодов в трёх измерениях для каждого признака. Сохранённые статистики совпадают с агрегированными значениями всех эпизодов в пределах указанного допуска, но мы не установили независимо, как был создан сохранённый файл, и не проверяли исходные файлы кадров. Если эти сохранённые диапазоны передать новому процессору min-max, описанному выше, более широкие границы могут изменить масштаб преобразования. Пример не показывает, что загружалось при каком-либо прошлом запуске, подходит ли набор данных для политики и изменился ли показатель качества.
Проверьте охват повторного расчёта
Общепринятая рекомендация — подбирать зависящие от данных параметры предобработки на обучающей выборке и последовательно применять полученное преобразование к оценочным данным. Описание утечки данных в документации scikit-learn объясняет общий принцип. В одной из предыдущих задач LeRobot также высказывались опасения по поводу глобальных статистик и валидации; наша проверка не подтверждает описанное в задаче поведение робота и не устанавливает его причину. В карточке другого набора данных SO-101 уже разграничены статистики только по обучающей выборке и метаданные полного набора для контролируемой оценки. Мы не проверяли количества или файлы этого набора данных.
Изучите путь повторного расчёта так же внимательно, как и разделение. В зафиксированной версии вспомогательная функция recompute_stats по умолчанию использует путь обработки числовых данных, который сканирует файлы Parquet в корневом каталоге набора данных и перебирает индексы их эпизодов без прямого фильтра dataset.episodes. Если эти файлы по-прежнему содержат обе части, передача одного лишь объекта с выбранными эпизодами не подтверждает, что числовые статистики рассчитаны только по обучающей выборке. Функция записывает статистики в этот корневой каталог и сохраняет существующие статистики для признаков, которые не пересчитывает; по умолчанию она пропускает признаки изображений и видео. Мы не запускали эту функцию и не изменяли набор данных. В её строке документации уже сказано, что она перебирает все эпизоды, а руководство по инструментам работы с наборами данных описывает операцию повторного расчёта.
Прежде чем считать результат на отложенной выборке независимым, зафиксируйте идентификаторы выбранных эпизодов, ревизию набора данных, происхождение и охват признаков каждой статистики, а также фактически использованную конфигурацию процессора. Убедитесь, что предлагаемый расчёт только по обучающей выборке читает нужные строки, и применяйте к оценочным данным соответствующее преобразование, полученное на обучающей выборке. Отдельно проверьте признаки изображений, видео и относительных действий: они могут обрабатываться иначе. У предобученного процессора или процессора из возобновлённого запуска могут быть собственные сохранённые статистики, поэтому проверьте фактическую контрольную точку и переопределения, не предполагая, что поведение будет таким же, как в этом примере.
Как мы проверяли
Мы изучили исходный код в зафиксированной версии, не импортируя и не запуская LeRobot. Наш скрипт анализа проверяет хеши исходного кода, временно скачивает небольшую таблицу метаданных и рассчитывает гипотетическое разделение и сравнения min/max с помощью DuckDB 1.4.4. При обычном выполнении он удаляет временную таблицу. Агрегированные результаты не содержат названий задач, идентификаторов отдельных эпизодов или статистик по отдельным эпизодам. Пакет проверки исходного кода содержит скрипт, который проверяет выбранные структуры исходного кода в зафиксированной версии без выполнения кода исходного проекта, а также лицензию и указание авторства исходного проекта. Генератор иллюстраций воспроизводит две схемы на основе агрегированных данных. Записи, исходные кадры, модель, задания на обучение или бенчмаркинг не использовались.
Для воспроизведения в macOS или Linux с Python 3.11 и DuckDB 1.4.4:
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.pyВ карточке набора данных в зафиксированной ревизии указана лицензия Apache-2.0; эта отметка не определяет права на каждый исходный материал. Средство проверки исходного кода ссылается на короткие выражения из LeRobot; лицензия в зафиксированной версии и указание авторских прав включены в пакет проверки. sapien1 предоставляет созданные им части скриптов для скачивания и локального выполнения; дополнительная лицензия на изменение или распространение этих материалов не указана. Условия использования исходного набора данных и кода исходного проекта действуют отдельно.