# Een LeRobot-holdout van episodes kan bredere normalisatiestatistieken gebruiken

Een team kan robotepisodes apart houden voor evaluatie en toch voorbewerkingsstatistieken gebruiken die ook data buiten de trainingsepisodes omvatten. We volgden één LeRobot-trainingspad en controleerden een openbare momentopname van metadata. Bij een hypothetische verdeling van 40 trainingsepisodes en 10 evaluatie-episodes reiken de opgeslagen bereiken voor zowel toestand als actie in drie van de zes dimensies verder dan de bereiken van de trainingsepisodes. Dit is een vergelijking van opgeslagen metadata, geen waargenomen trainingsrun of resultaat voor modelprestaties. Het laat zien waarom je bij een controle van een holdout zowel de episodelijst als de statistieken voor de processor moet meenemen.

## De verdeling en de statistieken zijn afzonderlijke keuzes

Bij [LeRobot-commit `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py) groepeert een ingestelde `eval_split` geselecteerde episodes op basis van hun eerst vermelde taak en wijst uit elke groep de laatste `ceil(group size × eval_split)` episodes toe aan de evaluatie. De [standaardconfiguratie](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) heeft geen evaluatiesplit; in het voorbeeld hieronder is die bewust ingesteld. De code maakt afzonderlijke datasetobjecten voor training en evaluatie met behulp van episodelijsten, dezelfde datasetroot en dezelfde revisie.

De [loader voor datasetmetadata](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) laadt afzonderlijk `meta/stats.json`. In het onderzochte [trainingspad](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) krijgt een nieuwe, niet hervatte Diffusion-policy zonder pad naar een vooraf getrainde processor de statistieken uit de datasetmetadata mee bij het aanmaken van de processors. De standaardconfiguratie van [Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) gebruikt min-maxnormalisatie voor toestand en actie. De bronanalyse geldt specifiek voor die configuratie en versie; andere policies, overrides, vooraf getrainde of hervatte processors, formaten en versies kunnen anders werken.

![Een geselecteerde episodeverdeling en het afzonderlijke pad van opgeslagen statistieken naar een nieuwe Diffusion-normalisator](https://sapien1.com/research/lerobot-split-normalization/figures/nl/stats-path.svg)

We hebben de datasetloader en een policy niet uitgevoerd. Het diagram beschrijft het onderzochte bronpad onder de genoemde voorwaarden en is geen verslag van een daadwerkelijke run.

## Een voorbeeld met metadata

De openbare [`lerobot/svla_so101_pickplace`-momentopname op revisie `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) beschrijft 50 episodes en 11.939 frames. Alle 50 episoderegistraties hebben dezelfde groeperingssleutel voor de eerste taak. Als er geen episodes vooraf zijn geselecteerd of uitgesloten en `eval_split=0.2`, zou de onderzochte regel 40 episodes aan training en 10 aan evaluatie toewijzen. Hun episodeoverzichten vermelden respectievelijk 9.180 en 2.759 frames.

De opgeslagen statistieken voor `observation.state` en `action` vermelden elk een count van 11.939. Hun min/max-arrays komen binnen een absolute en relatieve tolerantie van `1e-6` overeen met de aggregatie van alle 50 episodeoverzichten. Rechtstreeks vergeleken met de uiterste waarden van de hypothetische 40 trainingsepisodes reiken de opgeslagen bereiken voor elk kenmerk in drie van de zes dimensies verder. Het aantal blijft gelijk als een verschil groter dan de tolerantie van `math.isclose` met een relatieve en absolute tolerantie van `1e-6` wordt vereist.

| Kenmerk | Dimensies waarin het opgeslagen bereik verder reikt dan het bereik van de trainingsepisodes | Smalste bereik van trainingsepisodes als aandeel van het opgeslagen bereik |
| --- | ---: | ---: |
| `observation.state` | 3 van 6 | 84,3% |
| `action` | 3 van 6 | 84,2% |

![Smalste bereik van trainingsepisodes ten opzichte van het opgeslagen bereik: 84,3% voor toestand en 84,2% voor actie](https://sapien1.com/research/lerobot-split-normalization/figures/nl/range-comparison.svg)

Elk percentage is de kleinste verhouding tussen bereikbreedtes van de zes dimensies van dat kenmerk; de twee rijen hoeven niet dezelfde dimensie te beschrijven. De balken vergelijken breedtes, niet waar de bereiken beginnen of eindigen. De berekening voor 40 episodes omvat alle frames die voor die episodes zijn vermeld. Een daadwerkelijke sampler kan frames aan het einde weglaten, vensters samplen of andere selectieregels gebruiken. Dit is dus geen meting van de posities die een echte optimizer gebruikt.

Ook de overzichten van de apart gehouden episodes laten zien dat de aggregatie van alle episodes voor elk kenmerk in drie dimensies verder reikt dan die van de 40 trainingsepisodes. De opgeslagen statistieken komen binnen de genoemde tolerantie overeen met de aggregatie van alle episodes, maar we hebben niet onafhankelijk vastgesteld hoe het opgeslagen bestand is gemaakt of de onderliggende framebestanden geverifieerd. Als deze opgeslagen bereiken aan de hierboven beschreven nieuwe min-maxprocessor worden geleverd, kunnen de bredere grenzen de schaal ervan veranderen. Het voorbeeld laat niet zien wat een eerdere job heeft geladen, of een dataset geschikt is voor een policy of dat een score is veranderd.

## Controleer de reikwijdte van een herberekening

Het gebruikelijke advies is om data-afhankelijke voorbewerking op de trainingsset te fitten en de resulterende transformatie consequent op evaluatiedata toe te passen. [Scikit-learns bespreking van datalekken](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) legt het algemene principe uit. Een eerdere [LeRobot-issue](https://github.com/huggingface/lerobot/issues/2851) uitte ook zorgen over globale statistieken en validatie; onze controle bevestigt het in de issue gemelde robotgedrag niet en stelt de oorzaak ervan niet vast. Een andere [SO-101-datasetkaart](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) maakt voor een gecontroleerde evaluatie al onderscheid tussen statistieken op basis van alleen training en metadata van de volledige dataset. We hebben de aantallen of bestanden van die dataset niet gecontroleerd.

Onderzoek het pad voor herberekening even zorgvuldig als de verdeling. In de vastgelegde versie gebruikt de [`recompute_stats`-helper](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) standaard een pad voor numerieke data dat Parquet-bestanden onder de datasetroot scant en de episode-indices daarvan doorloopt zonder een direct `dataset.episodes`-filter. Als die bestanden nog beide partities bevatten, levert het doorgeven van alleen een object met geselecteerde episodes geen bewijs op dat de numerieke statistieken uitsluitend op training zijn gebaseerd. De helper schrijft statistieken naar die root en behoudt bestaande statistieken voor kenmerken die hij niet opnieuw berekent; standaard slaat hij beeld- en videokenmerken over. We hebben de helper niet uitgevoerd en geen dataset gewijzigd. De docstring vermeldt al dat de helper alle episodes doorloopt, en de [handleiding voor datasettools](https://huggingface.co/docs/lerobot/using_dataset_tools) beschrijft de herberekening.

Leg voordat je een resultaat op apart gehouden data als onafhankelijk beschouwt de geselecteerde episode-ID's, de datasetrevisie, de herkomst en het bereik van kenmerken voor elke statistiek en de daadwerkelijk gebruikte processorconfiguratie vast. Controleer of een voorgestelde berekening op basis van alleen training de bedoelde rijen leest en gebruik voor evaluatie opnieuw de juiste transformatie die uit de training is afgeleid. Controleer beeld-, video- en relatieve-actiekenmerken afzonderlijk; die kunnen andere paden volgen. Een vooraf getrainde of hervatte processor kan eigen opgeslagen statistieken hebben. Onderzoek daarom het daadwerkelijke checkpoint en de overrides in plaats van uit te gaan van het gedrag in dit voorbeeld.

## Zo hebben we gecontroleerd

We hebben de vastgelegde bron gelezen zonder LeRobot te importeren of uit te voeren. Ons [analysescript](https://sapien1.com/research/lerobot-split-normalization/analyze.py) verifieert bronhashes, downloadt tijdelijk de kleine metadatatabel en berekent de hypothetische verdeling en min/max-vergelijkingen met DuckDB 1.4.4. Na een normale run verwijdert het de tijdelijke tabel. De [geaggregeerde resultaten](https://sapien1.com/research/lerobot-split-normalization/observations.json) bevatten geen taaklabels, afzonderlijke episode-ID's of statistieken per episode. De [bundel voor broncontrole](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) bevat een script dat geselecteerde structuren in de vastgelegde bron verifieert zonder upstreamcode uit te voeren, samen met de upstreamlicentie en bronvermelding. De [figuurgenerator](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) reproduceert de twee diagrammen op basis van de aggregatie. Er zijn geen opnames, ruwe frames, modellen, trainingsjobs of benchmarkjobs gebruikt.

Voor reproductie op macOS of Linux met Python 3.11 en DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

De [vastgelegde kaart](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) van de dataset vermeldt Apache-2.0; dat label bepaalt niet de rechten voor alle onderliggende assets. De broncontrole verwijst naar korte expressies uit LeRobot; de vastgelegde licentie en auteursrechtvermelding zijn opgenomen in de controlebundel. sapien1 biedt zijn oorspronkelijke scriptbijdragen aan om te downloaden en lokaal uit te voeren; er wordt geen aanvullende licentie vermeld om die bijdragen aan te passen of te verspreiden. Voor de brondataset en upstreamcode gelden afzonderlijke voorwaarden.
