# En episodeopdeling i LeRobot kan bruge normaliseringsstatistik med et bredere datagrundlag

Et team kan holde robotepisoder adskilt til evaluering og samtidig bruge præprocesseringsstatistik, hvis datagrundlag rækker ud over træningsepisoderne. Vi har fulgt én træningssti i LeRobot og undersøgt et offentligt metadataøjebliksbillede. I en hypotetisk opdeling med 40 træningsepisoder og 10 evalueringsepisoder rækker de gemte intervaller for både tilstand og handling ud over træningsepisodernes intervaller i tre af seks dimensioner. Dette er en sammenligning af gemte metadata, ikke en observation af et træningsforløb eller et resultat for modellens ydeevne. Eksemplet viser, hvorfor en gennemgang af de tilbageholdte data bør omfatte både den statistik, der leveres til processoren, og episodelisten.

## Opdelingen og statistikken er separate beslutninger

Ved [LeRobot-commit `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py) grupperer en konfigureret `eval_split` de valgte episoder efter deres først angivne opgave og tildeler de sidste `ceil(group size × eval_split)` fra hver gruppe til evaluering. [Standardkonfigurationen](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) har ingen evalueringsopdeling; eksemplet nedenfor angiver bevidst en. Koden opretter separate datasætobjekter til træning og evaluering ved hjælp af episodelister, samme datasætrod og samme revision.

[Indlæseren af datasættets metadata](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) indlæser separat `meta/stats.json`. I den undersøgte [træningssti](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) modtager en ny Diffusion-policy, som ikke er genoptaget og ikke har en sti til en fortrænet processor, statistikken fra datasættets metadata, når dens processorer oprettes. [Standardkonfigurationen for Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) bruger min-max-normalisering til tilstand og handling. Kildegennemgangen gælder specifikt for denne konfiguration og version; andre policies, tilsidesættelser, fortrænede eller genoptagne processorer, formater og versioner kan afvige.

![En valgt episodeopdeling og den separate sti for gemt statistik til en ny Diffusion-normalisering](https://sapien1.com/research/lerobot-split-normalization/figures/da/stats-path.svg)

Vi kørte hverken datasætindlæseren eller en policy. Diagrammet beskriver den undersøgte kildesti under de angivne betingelser og er ikke en registrering af en faktisk kørsel.

## Et metadataeksempel

Det offentlige [`lerobot/svla_so101_pickplace`-øjebliksbillede ved revision `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) beskriver 50 episoder og 11.939 frames. Alle 50 episodeposter har samme grupperingsnøgle for den første opgave. Hvis ingen episoder er valgt på forhånd eller udeladt, og `eval_split=0.2`, vil den undersøgte regel tildele 40 episoder til træning og 10 til evaluering. Deres episodeoversigter angiver henholdsvis 9.180 og 2.759 frames.

Den gemte statistik for `observation.state` og `action` angiver hver et antal på 11.939. Deres min/max-arrays stemmer overens med den samlede opgørelse af alle 50 episodeoversigter inden for en absolut og relativ tolerance på `1e-6`. Sammenlignet direkte med de yderværdier, der er samlet fra de hypotetiske 40 træningsepisoder, rækker de gemte intervaller længere i tre af seks dimensioner for hvert datatræk. Antallet er uændret, når der kræves en forskel ud over `math.isclose` med relative og absolutte tolerancer på `1e-6`.

| Datatræk | Dimensioner, hvor det gemte interval rækker ud over træningsepisodernes interval | Det smalleste interval for træningsepisoderne som andel af det gemte interval |
| --- | ---: | ---: |
| `observation.state` | 3 af 6 | 84,3 % |
| `action` | 3 af 6 | 84,2 % |

![Det smalleste interval for træningsepisoderne i forhold til det gemte interval: 84,3 % for tilstand og 84,2 % for handling](https://sapien1.com/research/lerobot-split-normalization/figures/da/range-comparison.svg)

Hver procentdel er det mindste forhold mellem intervalbredderne blandt datatrækkets seks dimensioner; de to rækker beskriver ikke nødvendigvis samme dimension. Søjlerne sammenligner bredder, ikke hvor intervallerne begynder eller slutter. Beregningen for de 40 episoder omfatter alle frames, der er angivet for disse episoder. En faktisk sampler kan udelade frames i slutningen, sample vinduer eller bruge andre udvælgelsesregler, så dette er ikke en måling af de positioner, som en faktisk optimizer har brugt.

Oversigterne for de tilbageholdte episoder udvider også den samlede opgørelse for alle episoder ud over opgørelsen for de 40 træningsepisoder i tre dimensioner for hvert datatræk. Den gemte statistik stemmer overens med opgørelsen for alle episoder inden for den angivne tolerance, men vi har ikke uafhængigt fastslået, hvordan den gemte fil blev fremstillet, eller verificeret de underliggende framefiler. Hvis de gemte intervaller leveres til den nye min-max-processor beskrevet ovenfor, kan de bredere grænser ændre dens skalering. Eksemplet viser ikke, hvad et tidligere job indlæste, om et datasæt er egnet til en policy, eller om en score ændrede sig.

## Kontrollér datagrundlaget for en genberegning

Den velkendte anbefaling er at tilpasse dataafhængig præprocessering på træningssættet og anvende den resulterende transformation konsekvent på evalueringsdata. [Scikit-learns gennemgang af datalækage](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) forklarer det generelle princip. Et tidligere [LeRobot-issue](https://github.com/huggingface/lerobot/issues/2851) rejste også bekymringer om global statistik og validering; vores undersøgelse verificerer ikke den rapporterede robotadfærd i issuet og fastslår ikke dens årsag. Et andet [SO-101-datasætkort](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) skelner allerede mellem statistik baseret alene på træningsdata og metadata for hele datasættet ved en kontrolleret evaluering. Vi har ikke kontrolleret dette datasæts egne antal eller filer.

Undersøg genberegningsstien lige så grundigt som opdelingen. I den fastlagte version bruger hjælpefunktionen [`recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) som standard en sti for numeriske data, der gennemgår Parquet-filer under datasætroden og itererer over deres episodeindekser uden et direkte `dataset.episodes`-filter. Hvis disse filer stadig indeholder begge delmængder, er det ikke tilstrækkeligt at overføre et objekt med udvalgte episoder for at sikre numerisk statistik baseret alene på træningsdata. Hjælpefunktionen skriver statistik til denne rod og bevarer eksisterende statistik for datatræk, som den ikke genberegner; standardindstillingen springer billed- og videodatatræk over. Vi har ikke kørt hjælpefunktionen eller ændret et datasæt. Dens docstring siger allerede, at den itererer over alle episoder, og [vejledningen til datasætværktøjer](https://huggingface.co/docs/lerobot/using_dataset_tools) beskriver genberegningen.

Før du betragter et resultat for tilbageholdte data som uafhængigt, skal du registrere de valgte episode-id'er, datasættets revision, oprindelsen og datatrækkene for hver statistik samt den processorkonfiguration, der faktisk blev brugt. Verificér, at en foreslået beregning alene på træningsdata læser de tilsigtede rækker, og genbrug den relevante transformation baseret på træningsdata til evaluering. Kontrollér billed-, video- og relative handlingsdatatræk separat, da de kan følge andre stier. En fortrænet eller genoptaget processor kan have sin egen gemte statistik, så undersøg det faktiske checkpoint og eventuelle tilsidesættelser frem for at antage, at den fungerer som i dette eksempel.

## Sådan undersøgte vi det

Vi læste den fastlagte kildekode uden at importere eller køre LeRobot. Vores [analysescript](https://sapien1.com/research/lerobot-split-normalization/analyze.py) verificerer kildefilernes hashes, downloader midlertidigt den lille metadatatabel og beregner den hypotetiske opdeling og min/max-sammenligningerne med DuckDB 1.4.4. Det fjerner den midlertidige tabel efter en normal kørsel. De [samlede resultater](https://sapien1.com/research/lerobot-split-normalization/observations.json) indeholder hverken opgaveetiketter, individuelle episode-id'er eller statistik for enkelte episoder. [Pakken til kildekontrol](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) indeholder et script, der verificerer udvalgte strukturer i den fastlagte kildekode uden at køre den oprindelige kode, samt den oprindelige licens og kreditering. [Figurgeneratoren](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) genskaber de to diagrammer ud fra de samlede resultater. Der blev ikke brugt optagelser, rå frames, model, træningsjob eller benchmarkjob.

Sådan genskaber du resultaterne på macOS eller Linux med Python 3.11 og DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

Datasættets [fastlagte kort](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) angiver Apache-2.0; den angivelse afklarer ikke rettighederne til alle underliggende aktiver. Kildekontrollen henviser til korte udtryk fra LeRobot; den fastlagte licens og ophavsretsangivelsen er inkluderet i pakken til kildekontrol. sapien1 stiller sine originale scriptbidrag til rådighed til download og lokal kørsel; der er ikke angivet en yderligere licens til at ændre eller videredistribuere disse bidrag. Vilkårene for kildedatasættet og den oprindelige kode gælder separat.
