# Una suddivisione degli episodi LeRobot con holdout può usare statistiche di normalizzazione più ampie

Un team può separare gli episodi robotici per la valutazione e usare comunque statistiche di preprocessing che si estendono oltre gli episodi di addestramento. Abbiamo analizzato un percorso di addestramento LeRobot e verificato uno snapshot pubblico dei metadati. In un’ipotetica suddivisione con 40 episodi di addestramento e 10 di valutazione, gli intervalli salvati di stato e azione si estendono ciascuno oltre quelli degli episodi di addestramento in tre dimensioni su sei. È un confronto tra metadati salvati, non un’esecuzione di addestramento osservata né un risultato sulle prestazioni del modello. L’esempio mostra perché una verifica dell’holdout dovrebbe includere le statistiche fornite al processore oltre all’elenco degli episodi.

## La suddivisione e le statistiche sono decisioni separate

Al [commit LeRobot `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py), un `eval_split` configurato raggruppa gli episodi selezionati in base al primo task indicato e assegna alla valutazione gli ultimi `ceil(group size × eval_split)` episodi di ogni gruppo. La [configurazione predefinita](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) non prevede una suddivisione per la valutazione; l’esempio seguente ne imposta deliberatamente una. Il codice costruisce oggetti dataset separati per addestramento e valutazione usando elenchi di episodi, la stessa radice del dataset e la stessa revisione.

Il [caricatore dei metadati del dataset](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) carica separatamente `meta/stats.json`. Nel [percorso di addestramento](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) esaminato, una policy Diffusion creata da zero, non ripresa e senza un percorso a un processore preaddestrato riceve le statistiche dei metadati del dataset quando vengono creati i suoi processori. La [configurazione Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) predefinita usa la normalizzazione min-max per stato e azione. L’analisi del codice sorgente riguarda questa specifica configurazione e versione; altre policy, override, processori preaddestrati o ripresi, formati e versioni possono comportarsi diversamente.

![Una suddivisione degli episodi selezionati e il percorso separato delle statistiche salvate verso un normalizzatore Diffusion creato da zero](https://sapien1.com/research/lerobot-split-normalization/figures/it/stats-path.svg)

Non abbiamo eseguito il caricatore del dataset né una policy. Il diagramma descrive il percorso del codice sorgente esaminato alle condizioni indicate, non il resoconto di un’esecuzione effettiva.

## Un esempio di metadati

Lo [snapshot pubblico di `lerobot/svla_so101_pickplace` alla revisione `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) descrive 50 episodi e 11.939 frame. Tutti i 50 record degli episodi condividono la stessa chiave di raggruppamento basata sul primo task. Se nessun episodio viene preselezionato o escluso e `eval_split=0.2`, la regola esaminata assegnerebbe 40 episodi all’addestramento e 10 alla valutazione. I rispettivi riepiloghi degli episodi dichiarano 9.180 e 2.759 frame.

Le statistiche salvate di `observation.state` e `action` riportano ciascuna un conteggio di 11.939. I rispettivi array min/max corrispondono all’aggregato dei riepiloghi di tutti i 50 episodi entro una tolleranza assoluta e relativa di `1e-6`. Rispetto agli estremi aggregati dei 40 ipotetici episodi di addestramento, gli intervalli salvati si estendono ulteriormente in tre dimensioni su sei per ciascuna caratteristica. Il conteggio resta invariato anche richiedendo una differenza oltre la soglia di `math.isclose`, con tolleranze relativa e assoluta di `1e-6`.

| Caratteristica | Dimensioni in cui l’intervallo salvato si estende oltre quello degli episodi di addestramento | Intervallo più stretto degli episodi di addestramento rispetto a quello salvato |
| --- | ---: | ---: |
| `observation.state` | 3 su 6 | 84,3% |
| `action` | 3 su 6 | 84,2% |

![Intervallo più stretto degli episodi di addestramento rispetto a quello salvato: 84,3% per lo stato e 84,2% per l’azione](https://sapien1.com/research/lerobot-split-normalization/figures/it/range-comparison.svg)

Ogni percentuale è il rapporto minimo tra le ampiezze degli intervalli nelle sei dimensioni della relativa caratteristica; le due righe non descrivono necessariamente la stessa dimensione. Le barre confrontano le ampiezze, non i punti di inizio o fine degli intervalli. Il calcolo sui 40 episodi include tutti i frame dichiarati per quegli episodi. Un campionatore effettivo potrebbe scartare i frame finali, campionare finestre o usare altre regole di selezione: il calcolo non misura quindi le posizioni usate da un ottimizzatore reale.

Anche i riepiloghi degli episodi riservati alla valutazione estendono l’aggregato di tutti gli episodi oltre quello dei 40 episodi di addestramento in tre dimensioni per ciascuna caratteristica. Le statistiche salvate corrispondono all’aggregato di tutti gli episodi entro la tolleranza indicata, ma non abbiamo stabilito in modo indipendente come sia stato prodotto il file salvato né verificato i file dei frame sottostanti. Se questi intervalli salvati vengono forniti al processore min-max creato da zero descritto sopra, i limiti più ampi possono modificarne la scala. L’esempio non mostra cosa abbia caricato un job eseguito in passato, se un dataset sia adatto a una policy o se un punteggio sia cambiato.

## Verifica l’ambito di un ricalcolo

L’indicazione comunemente seguita è adattare il preprocessing dipendente dai dati sul set di addestramento e applicare la trasformazione risultante in modo coerente ai dati di valutazione. La [trattazione di Scikit-learn sulla fuga di dati](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) spiega il principio generale. Anche una precedente [issue di LeRobot](https://github.com/huggingface/lerobot/issues/2851) sollevava dubbi sulle statistiche globali e sulla validazione; la nostra verifica non conferma il comportamento del robot riportato nell’issue né ne diagnostica la causa. Un’altra [scheda di dataset SO-101](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) distingue già le statistiche dei soli dati di addestramento dai metadati dell’intero dataset per una valutazione controllata. Non abbiamo verificato i conteggi o i file di quel dataset.

Esamina il percorso di ricalcolo con la stessa attenzione dedicata alla suddivisione. Nella versione fissata, la [funzione di supporto `recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) usa per impostazione predefinita un percorso per i dati numerici che esamina i file Parquet sotto la radice del dataset e scorre gli indici dei loro episodi senza un filtro diretto su `dataset.episodes`. Se quei file contengono ancora entrambe le partizioni, passare il solo oggetto con gli episodi selezionati non dimostra che le statistiche numeriche riguardino solo l’addestramento. La funzione scrive le statistiche in quella radice e conserva quelle esistenti per le caratteristiche che non ricalcola; per impostazione predefinita salta le caratteristiche di immagini e video. Non abbiamo eseguito la funzione né modificato un dataset. La sua docstring indica già che scorre tutti gli episodi e la [guida agli strumenti per i dataset](https://huggingface.co/docs/lerobot/using_dataset_tools) descrive l’operazione di ricalcolo.

Prima di considerare indipendente un risultato ottenuto sull’holdout, registra gli ID degli episodi selezionati, la revisione del dataset, l’origine e le caratteristiche coperte da ogni statistica e la configurazione del processore effettivamente usata. Verifica che un calcolo proposto sui soli dati di addestramento legga le righe previste e riutilizza per la valutazione la trasformazione appropriata derivata dall’addestramento. Verifica separatamente le caratteristiche di immagini, video e azioni relative, che possono seguire percorsi diversi. Un processore preaddestrato o ripreso può avere proprie statistiche salvate, quindi esamina il checkpoint effettivo e gli override senza presumere che si comporti come in questo esempio.

## Come abbiamo verificato

Abbiamo letto il codice sorgente alla revisione fissata senza importare né eseguire LeRobot. Il nostro [script di analisi](https://sapien1.com/research/lerobot-split-normalization/analyze.py) verifica gli hash del codice sorgente, scarica temporaneamente la piccola tabella dei metadati e calcola la suddivisione ipotetica e i confronti min/max con DuckDB 1.4.4. Al termine di un’esecuzione normale rimuove la tabella temporanea. I [risultati aggregati](https://sapien1.com/research/lerobot-split-normalization/observations.json) non conservano etichette dei task, ID dei singoli episodi né statistiche per episodio. Il [pacchetto di verifica del codice sorgente](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) contiene uno script che verifica alcune strutture selezionate del codice sorgente alla revisione fissata senza eseguire il codice originale, insieme alla licenza e all’attribuzione originali. Il [generatore delle figure](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) riproduce i due diagrammi a partire dai dati aggregati. Non sono stati usati registrazioni, frame grezzi, modelli, job di addestramento o benchmark.

Per riprodurre l’analisi su macOS o Linux con Python 3.11 e DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

La [scheda del dataset alla revisione fissata](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) lo indica come Apache-2.0; questa indicazione non determina i diritti su ogni risorsa sottostante. Il verificatore del codice sorgente fa riferimento a brevi espressioni tratte da LeRobot; la relativa licenza alla revisione fissata e l’attribuzione del copyright sono incluse nel pacchetto del verificatore. sapien1 mette a disposizione i propri contributi originali agli script per il download e l’esecuzione locale; non viene indicata alcuna licenza aggiuntiva per modificarli o ridistribuirli. I termini del dataset di origine e del codice originale sono separati.
