# LeRobot 에피소드 홀드아웃에도 더 넓은 범위의 정규화 통계가 사용될 수 있습니다

팀이 평가를 위해 로봇 에피소드를 분리하더라도 학습 에피소드 밖의 데이터까지 포함하는 전처리 통계를 사용할 수 있습니다. LeRobot의 한 학습 경로를 추적하고 공개 메타데이터 스냅샷을 확인했습니다. 학습 에피소드 40개와 평가 에피소드 10개로 나누는 가상의 분할에서 저장된 상태와 행동 범위는 각각 6개 차원 중 3개에서 학습 에피소드 범위보다 넓습니다. 이는 저장된 메타데이터를 비교한 결과이며 실제 학습 실행이나 모델 성능 결과를 관찰한 것이 아닙니다. 이 예시는 홀드아웃을 검토할 때 에피소드 목록뿐 아니라 프로세서에 제공되는 통계도 살펴봐야 하는 이유를 보여 줍니다.

## 분할과 통계는 별도로 결정됩니다

[LeRobot 커밋 `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py)에서 `eval_split`을 설정하면 선택된 에피소드를 각 에피소드에 처음 나열된 태스크별로 묶고, 각 그룹의 마지막 `ceil(group size × eval_split)`개를 평가에 할당합니다. [기본 구성](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py)에는 평가 분할이 없으며, 아래 예시에서는 의도적으로 평가 분할을 설정했습니다. 코드는 에피소드 목록을 사용해 별도의 학습 및 평가 데이터셋 객체를 만들며, 두 객체에는 같은 데이터셋 루트와 리비전이 사용됩니다.

[데이터셋 메타데이터 로더](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py)는 별도로 `meta/stats.json`을 불러옵니다. 확인한 [학습 경로](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py)에서는 사전 학습된 프로세서 경로가 없고 재개된 상태가 아닌 새로운 Diffusion 정책의 프로세서를 만들 때 데이터셋 메타데이터 통계가 전달됩니다. 기본 [Diffusion 구성](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py)은 상태와 행동에 최소-최대 정규화를 사용합니다. 이 소스 추적은 해당 구성과 버전에 한정되며, 다른 정책, 재정의 설정, 사전 학습되었거나 재개된 프로세서, 형식 및 버전에서는 다를 수 있습니다.

![선택된 에피소드 분할과 새로운 Diffusion 정규화기로 이어지는 별도의 저장 통계 경로](https://sapien1.com/research/lerobot-split-normalization/figures/ko/stats-path.svg)

데이터셋 로더나 정책을 실행하지 않았습니다. 다이어그램은 명시된 조건에서 확인한 소스 경로를 설명하며 실제 실행 기록이 아닙니다.

## 메타데이터 예시

공개된 [`lerobot/svla_so101_pickplace` 리비전 `f641879` 스냅샷](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657)에는 에피소드 50개와 프레임 11,939개가 기록되어 있습니다. 에피소드 기록 50개는 모두 같은 첫 번째 태스크 그룹화 키를 공유합니다. 에피소스를 미리 선택하거나 제외하지 않고 `eval_split=0.2`로 설정하면, 확인한 규칙에 따라 에피소드 40개는 학습에, 10개는 평가에 할당됩니다. 각 에피소드 요약에 기록된 프레임 수는 각각 9,180개와 2,759개입니다.

저장된 `observation.state`와 `action` 통계의 count는 각각 11,939입니다. 각 min/max 배열은 절대 및 상대 허용 오차 `1e-6` 이내에서 에피소드 50개의 전체 요약을 집계한 값과 일치합니다. 가상의 학습 에피소드 40개에서 집계한 최솟값과 최댓값에 직접 비교하면, 저장된 범위는 각 특성의 6개 차원 중 3개에서 더 넓습니다. 상대 및 절대 허용 오차를 각각 `1e-6`으로 설정한 `math.isclose`의 기준을 넘어서는 차이만 따져도 차원 수는 같습니다.

| 특성 | 저장된 범위가 학습 에피소드 범위보다 넓은 차원 | 저장된 범위 대비 가장 좁은 학습 에피소드 범위 |
| --- | ---: | ---: |
| `observation.state` | 6개 중 3개 | 84.3% |
| `action` | 6개 중 3개 | 84.2% |

![저장된 범위 대비 가장 좁은 학습 에피소드 범위: 상태 84.3%, 행동 84.2%](https://sapien1.com/research/lerobot-split-normalization/figures/ko/range-comparison.svg)

각 백분율은 해당 특성의 6개 차원 중 범위 너비 비율이 가장 작은 값입니다. 두 행이 같은 차원을 나타내는 것은 아닙니다. 막대는 범위의 시작점이나 끝점이 아닌 너비를 비교합니다. 에피소드 40개에 대한 계산에는 해당 에피소드에 기록된 모든 프레임이 포함됩니다. 실제 샘플러는 끝부분 프레임을 버리거나 윈도우를 샘플링하거나 다른 선택 규칙을 사용할 수 있으므로, 이 계산은 실제 옵티마이저가 사용한 위치를 측정한 결과가 아닙니다.

홀드아웃 에피소드 요약을 포함한 전체 에피소드 집계 범위도 각 특성의 3개 차원에서 학습 에피소드 40개의 집계 범위보다 넓습니다. 저장된 통계는 명시된 허용 오차 이내에서 전체 에피소드 집계와 일치하지만, 저장된 파일이 어떻게 생성되었는지는 별도로 확인하지 않았고 기초 프레임 파일도 검증하지 않았습니다. 위에서 설명한 새로운 최소-최대 프로세서에 이 저장된 범위가 제공되면 더 넓은 경계로 인해 스케일이 달라질 수 있습니다. 이 예시는 과거 작업에서 무엇을 불러왔는지, 데이터셋이 특정 정책에 적합한지, 점수가 달라졌는지는 보여 주지 않습니다.

## 재계산 범위 확인

일반적으로 데이터에 따라 달라지는 전처리는 학습 세트에 맞춰 계산하고, 그 결과로 얻은 변환을 평가 데이터에도 일관되게 적용하도록 권장합니다. [Scikit-learn의 데이터 누수 설명](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage)에서 이 일반 원칙을 설명합니다. 이전 [LeRobot 이슈](https://github.com/huggingface/lerobot/issues/2851)에서도 전체 데이터 통계와 검증에 관한 우려가 제기되었지만, 이번 확인으로 해당 이슈에 보고된 로봇의 동작을 검증하거나 원인을 진단한 것은 아닙니다. 다른 [SO-101 데이터셋 카드](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md)는 통제된 평가를 위해 학습 전용 통계와 전체 데이터셋 메타데이터를 이미 구분하고 있습니다. 해당 데이터셋 자체의 수치나 파일은 확인하지 않았습니다.

분할만큼 재계산 경로도 주의 깊게 확인하세요. 특정 버전에서 [`recompute_stats` 헬퍼](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py)는 기본적으로 데이터셋 루트 아래의 Parquet 파일을 훑고 직접적인 `dataset.episodes` 필터 없이 에피소드 인덱스를 순회하는 수치 데이터 경로를 사용합니다. 해당 파일에 여전히 두 분할이 모두 들어 있다면, 에피소드를 선택한 객체만 전달해서는 학습 전용 수치 통계가 생성된다고 확정할 수 없습니다. 이 헬퍼는 해당 루트에 통계를 기록하고 재계산하지 않는 특성의 기존 통계는 유지합니다. 기본 설정에서는 이미지와 비디오 특성을 건너뜁니다. 헬퍼를 실행하거나 데이터셋을 변경하지 않았습니다. 해당 docstring에는 이미 모든 에피소드를 순회한다고 명시되어 있으며, [데이터셋 도구 가이드](https://huggingface.co/docs/lerobot/using_dataset_tools)에서는 재계산 작업을 설명합니다.

홀드아웃 결과를 독립적인 결과로 간주하기 전에 선택한 에피소드 ID, 데이터셋 리비전, 각 통계의 출처와 특성 범위, 실제 사용한 프로세서 구성을 기록하세요. 제안된 학습 전용 계산이 의도한 행을 읽는지 확인하고, 평가에는 학습 데이터에서 도출한 적절한 변환을 재사용하세요. 이미지, 비디오, 상대 행동 특성은 서로 다른 경로를 따를 수 있으므로 별도로 확인하세요. 사전 학습되었거나 재개된 프로세서는 자체 저장 통계를 가질 수 있으므로, 이 예시와 같은 동작을 가정하지 말고 실제 체크포인트와 재정의 설정을 확인하세요.

## 확인 방법

LeRobot을 가져오거나 실행하지 않고 특정 버전의 소스를 읽었습니다. [분석 스크립트](https://sapien1.com/research/lerobot-split-normalization/analyze.py)는 소스 해시를 검증하고 작은 메타데이터 테이블을 임시로 다운로드한 뒤 DuckDB 1.4.4로 가상의 분할과 min/max 비교를 계산합니다. 정상 실행 후에는 임시 테이블을 삭제합니다. [집계 결과](https://sapien1.com/research/lerobot-split-normalization/observations.json)에는 태스크 레이블, 개별 에피소드 ID, 에피소드별 통계가 남지 않습니다. [소스 검사기 번들](https://sapien1.com/research/lerobot-split-normalization/source-check.zip)에는 업스트림 코드를 실행하지 않고 선택한 특정 버전의 소스 구조를 검증하는 스크립트와 업스트림 라이선스 및 저작자 표시가 포함되어 있습니다. [그림 생성기](https://sapien1.com/research/lerobot-split-normalization/render-assets.py)는 집계 결과를 바탕으로 두 다이어그램을 재현합니다. 녹화물, 원시 프레임, 모델, 학습 작업 또는 벤치마크 작업은 사용하지 않았습니다.

Python 3.11과 DuckDB 1.4.4를 사용해 macOS 또는 Linux에서 재현하려면 다음과 같이 하세요.

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

데이터셋의 [특정 버전 카드](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md)에는 Apache-2.0으로 표시되어 있지만, 이 표시만으로 모든 기초 자산에 대한 권리가 확정되는 것은 아닙니다. 소스 검사기는 LeRobot의 짧은 표현식을 참조하며, 해당 특정 버전의 라이선스와 저작권 표시는 검사기 번들에 포함되어 있습니다. sapien1은 자체적으로 작성한 스크립트 기여분을 다운로드하여 로컬에서 실행할 수 있도록 제공합니다. 해당 기여분을 수정하거나 재배포할 수 있는 별도의 라이선스는 명시되어 있지 않습니다. 원본 데이터셋과 업스트림 코드에는 별도의 이용 조건이 적용됩니다.
