# En episodeholdout i LeRobot kan bruke bredere normaliseringsstatistikk

Et team kan holde robotepisoder avsatt til evaluering adskilt og likevel bruke forhåndsbehandlingsstatistikk som dekker mer enn treningsepisodene. Vi fulgte én treningsbane i LeRobot-koden og undersøkte et offentlig metadataøyeblikksbilde. I en hypotetisk inndeling med 40 treningsepisoder og 10 evalueringsepisoder strekker både de lagrede tilstands- og handlingsintervallene seg utover intervallene for treningsepisodene i tre av seks dimensjoner. Dette er en sammenligning av lagrede metadata, ikke en observert treningskjøring eller et resultat for modellens ytelse. Eksempelet viser hvorfor en gjennomgang av holdout-settet bør omfatte både statistikken som sendes til prosessoren og episodelisten.

## Inndelingen og statistikken er separate valg

Ved [LeRobot-commit `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py) grupperer en konfigurert `eval_split` de valgte episodene etter den første oppførte oppgaven og tildeler de siste `ceil(group size × eval_split)` fra hver gruppe til evaluering. [Standardkonfigurasjonen](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) har ingen evalueringsinndeling; eksempelet nedenfor angir en slik inndeling med vilje. Koden oppretter separate datasettobjekter for trening og evaluering ved hjelp av episodelister, samme rotmappe for datasettet og samme revisjon.

[Innleseren for datasettmetadata](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) laster `meta/stats.json` separat. I den undersøkte [treningsbanen](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) får en ny Diffusion-policy som ikke er gjenopptatt og ikke har en bane til en forhåndstrent prosessor, statistikken fra datasettets metadata når prosessorene bygges. Standardkonfigurasjonen for [Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) bruker min-maks-normalisering for tilstand og handling. Kildegjennomgangen gjelder denne konfigurasjonen og versjonen; andre policyer, overstyringer, forhåndstrente eller gjenopptatte prosessorer, formater og versjoner kan være annerledes.

![En valgt episodeinndeling og den separate banen for lagret statistikk til en ny Diffusion-normalisator](https://sapien1.com/research/lerobot-split-normalization/figures/nb/stats-path.svg)

Vi kjørte verken datasettinnleseren eller en policy. Diagrammet beskriver den undersøkte kildebanen under de angitte forutsetningene og er ikke en registrering av en faktisk kjøring.

## Ett metadataeksempel

Det offentlige [`lerobot/svla_so101_pickplace`-øyeblikksbildet ved revisjon `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) beskriver 50 episoder og 11 939 bilderammer. Alle de 50 episodepostene har samme grupperingsnøkkel for første oppgave. Hvis ingen episoder er forhåndsvalgt eller utelatt og `eval_split=0.2`, vil den undersøkte regelen tildele 40 episoder til trening og 10 til evaluering. Episodesammendragene oppgir henholdsvis 9 180 og 2 759 bilderammer.

Den lagrede statistikken for `observation.state` og `action` oppgir et antall på 11 939 for hver. Min-/maks-matrisene samsvarer med aggregatet av alle de 50 episodesammendragene innenfor en absolutt og relativ toleranse på `1e-6`. Sammenlignet direkte med ytterverdiene aggregert fra de hypotetiske 40 treningsepisodene strekker de lagrede intervallene seg lenger i tre av seks dimensjoner for hver egenskap. Antallet er uendret når det kreves en forskjell utover `math.isclose` med relative og absolutte toleranser på `1e-6`.

| Egenskap | Dimensjoner der det lagrede intervallet strekker seg utover intervallet for treningsepisodene | Det smaleste intervallet for treningsepisodene som andel av det lagrede intervallet |
| --- | ---: | ---: |
| `observation.state` | 3 av 6 | 84,3 % |
| `action` | 3 av 6 | 84,2 % |

![Smaleste intervall for treningsepisodene relativt til det lagrede intervallet: 84,3 % for tilstand og 84,2 % for handling](https://sapien1.com/research/lerobot-split-normalization/figures/nb/range-comparison.svg)

Hver prosentandel er det minste forholdet mellom intervallbredder blant egenskapens seks dimensjoner; de to radene trenger ikke å beskrive samme dimensjon. Stolpene viser bredder, ikke hvor intervallene begynner eller slutter. Beregningen for de 40 episodene omfatter alle bilderammene som er oppgitt for disse episodene. En faktisk sampler kan utelate bilderammer på slutten, sample vinduer eller bruke andre utvalgsregler, så dette er ikke en måling av posisjonene som brukes av en reell optimeringsalgoritme.

Sammendragene for de avsatte episodene utvider også aggregatet for alle episodene utover aggregatet for de 40 treningsepisodene i tre dimensjoner for hver egenskap. Den lagrede statistikken samsvarer med aggregatet for alle episodene innenfor den angitte toleransen, men vi fastslo ikke uavhengig hvordan den lagrede filen ble produsert, og verifiserte ikke de underliggende bilderammefilene. Hvis disse lagrede intervallene sendes til den nye min-maks-prosessoren som er beskrevet ovenfor, kan de videre grensene endre skaleringen. Eksempelet viser ikke hva en tidligere jobb lastet inn, om et datasett egner seg for en policy, eller om en poengsum endret seg.

## Kontroller hva en ny beregning omfatter

Et kjent prinsipp er å tilpasse dataavhengig forhåndsbehandling til treningssettet og bruke den resulterende transformasjonen konsekvent på evalueringsdata. [Scikit-learns omtale av datalekkasje](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) forklarer det generelle prinsippet. En tidligere [LeRobot-sak](https://github.com/huggingface/lerobot/issues/2851) tok også opp bekymringer om global statistikk og validering; vår undersøkelse verifiserer ikke den rapporterte robotatferden i saken og fastslår ikke årsaken til den. Et annet [SO-101-datasettkort](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) skiller allerede mellom statistikk basert bare på treningsdata og metadata for hele datasettet ved kontrollert evaluering. Vi undersøkte ikke dette datasettets egne antall eller filer.

Undersøk banen for ny beregning like nøye som inndelingen. I den fastlåste versjonen bruker hjelpefunksjonen [`recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) som standard en bane for numeriske data som søker gjennom Parquet-filer under datasettets rotmappe og går gjennom episodeindeksene deres uten et direkte `dataset.episodes`-filter. Hvis disse filene fortsatt inneholder begge partisjonene, er det ikke nok å sende inn et objekt med utvalgte episoder for å fastslå at den numeriske statistikken bare bygger på treningsdata. Hjelpefunksjonen skriver statistikk til rotmappen og beholder eksisterende statistikk for egenskaper den ikke beregner på nytt; som standard hopper den over bilde- og videoegenskaper. Vi kjørte ikke hjelpefunksjonen og endret ikke noe datasett. Dokumentasjonsstrengen sier allerede at den går gjennom alle episoder, og [veiledningen for datasettverktøy](https://huggingface.co/docs/lerobot/using_dataset_tools) beskriver operasjonen for ny beregning.

Før du behandler et resultat fra avsatte episoder som uavhengig, bør du registrere ID-ene til de valgte episodene, datasettrevisjonen, opprinnelsen og egenskapsomfanget til hver statistikk og prosessorkonfigurasjonen som faktisk ble brukt. Kontroller at en foreslått beregning basert bare på treningsdata leser de tilsiktede radene, og bruk den aktuelle transformasjonen utledet fra treningsdata på nytt ved evaluering. Kontroller bilde-, video- og relativ-handlingsegenskaper separat, siden de kan følge andre baner. En forhåndstrent eller gjenopptatt prosessor kan ha sin egen lagrede statistikk, så undersøk det faktiske kontrollpunktet og eventuelle overstyringer fremfor å anta at det oppfører seg som i dette eksempelet.

## Slik undersøkte vi

Vi leste den fastlåste kildekoden uten å importere eller kjøre LeRobot. [Analyseskriptet](https://sapien1.com/research/lerobot-split-normalization/analyze.py) vårt verifiserer kildehasher, laster ned den lille metadatatabellen midlertidig og beregner den hypotetiske inndelingen og min-/maks-sammenligningene med DuckDB 1.4.4. Det fjerner den midlertidige tabellen etter en normal kjøring. [De aggregerte resultatene](https://sapien1.com/research/lerobot-split-normalization/observations.json) inneholder ingen oppgaveetiketter, individuelle episode-ID-er eller statistikk per episode. [Pakken med kildekontrollen](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) inneholder et skript som verifiserer utvalgte strukturer i den fastlåste kildekoden uten å kjøre oppstrømskode, samt oppstrømslisensen og kildeangivelse. [Figurgeneratoren](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) gjenskaper de to diagrammene fra aggregatet. Ingen opptak, rå bilderammer, modeller, treningsjobber eller referansetester ble brukt.

Slik gjenskaper du resultatene på macOS eller Linux med Python 3.11 og DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

Datasettets [fastlåste kort](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) oppgir Apache-2.0 som lisens; denne merkingen avklarer ikke rettighetene til alle underliggende ressurser. Kildekontrollen viser til korte uttrykk fra LeRobot; den fastlåste lisensen og opphavsrettsangivelsen følger med i pakken med kildekontrollen. sapien1 tilbyr sine opprinnelige skriptbidrag for nedlasting og lokal kjøring; det er ikke oppgitt noen ytterligere lisens til å endre eller videredistribuere disse bidragene. Vilkårene for kildedatasettet og oppstrømskoden gjelder separat.
