# Một tập episode để đánh giá trong LeRobot có thể dùng thống kê chuẩn hóa bao quát dữ liệu rộng hơn

Một nhóm có thể tách các episode robot để đánh giá mà vẫn dùng thống kê tiền xử lý bao quát cả dữ liệu ngoài các episode huấn luyện. Chúng tôi đã lần theo một luồng huấn luyện của LeRobot và kiểm tra một bản chụp siêu dữ liệu công khai. Trong cách chia giả định gồm 40 episode huấn luyện và 10 episode đánh giá, phạm vi trạng thái và hành động đã lưu đều mở rộng ra ngoài phạm vi của các episode huấn luyện ở ba trong sáu chiều. Đây là phép so sánh siêu dữ liệu đã lưu, không phải kết quả từ một lượt huấn luyện được quan sát hay kết quả về hiệu năng mô hình. Ví dụ cho thấy việc xem xét tập dữ liệu để đánh giá cần bao gồm cả thống kê được cung cấp cho bộ xử lý lẫn danh sách episode.

## Cách chia dữ liệu và thống kê là hai quyết định riêng

Tại [commit LeRobot `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py), khi được thiết lập, `eval_split` nhóm các episode đã chọn theo tác vụ đầu tiên được liệt kê của từng episode và đưa `ceil(group size × eval_split)` episode cuối của mỗi nhóm vào tập đánh giá. [Cấu hình mặc định](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) không chia tập đánh giá; ví dụ dưới đây chủ ý thiết lập cách chia này. Mã tạo các đối tượng tập dữ liệu huấn luyện và đánh giá riêng biệt bằng danh sách episode, cùng một thư mục gốc tập dữ liệu và cùng một phiên bản.

[Bộ tải siêu dữ liệu tập dữ liệu](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) tải riêng `meta/stats.json`. Trong [luồng huấn luyện](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) được kiểm tra, khi các bộ xử lý được tạo, một chính sách Diffusion mới, không tiếp tục từ lần chạy trước và không có đường dẫn bộ xử lý đã huấn luyện trước sẽ nhận thống kê từ siêu dữ liệu tập dữ liệu. [Cấu hình Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) mặc định dùng chuẩn hóa min-max cho trạng thái và hành động. Việc lần theo mã nguồn chỉ áp dụng cho cấu hình và phiên bản đó; các chính sách, tùy chỉnh, bộ xử lý đã huấn luyện trước hoặc tiếp tục từ lần chạy trước, định dạng và phiên bản khác có thể hoạt động khác.

![Cách chia episode được chọn và luồng thống kê đã lưu riêng đến bộ chuẩn hóa Diffusion mới](https://sapien1.com/research/lerobot-split-normalization/figures/vi/stats-path.svg)

Chúng tôi không chạy bộ tải tập dữ liệu hay chính sách nào. Sơ đồ mô tả luồng mã nguồn đã kiểm tra theo các điều kiện đã nêu, không phải bản ghi của một lượt chạy thực tế.

## Một ví dụ về siêu dữ liệu

[Bản chụp công khai `lerobot/svla_so101_pickplace` tại phiên bản `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) mô tả 50 episode và 11.939 khung hình. Cả 50 bản ghi episode đều có cùng khóa nhóm theo tác vụ đầu tiên. Nếu không có episode nào được chọn trước hoặc loại trừ và `eval_split=0.2`, quy tắc đã kiểm tra sẽ phân 40 episode để huấn luyện và 10 episode để đánh giá. Các bản tóm tắt episode tương ứng khai báo 9.180 và 2.759 khung hình.

Thống kê `observation.state` và `action` đã lưu đều ghi nhận số lượng 11.939. Các mảng min/max của chúng khớp với dữ liệu tổng hợp từ bản tóm tắt của cả 50 episode trong dung sai tuyệt đối và tương đối `1e-6`. Khi so sánh trực tiếp với các giá trị cực trị tổng hợp từ 40 episode huấn luyện giả định, phạm vi đã lưu mở rộng hơn ở ba trong sáu chiều của mỗi đặc trưng. Số chiều này không đổi khi yêu cầu mức chênh lệch vượt ngưỡng `math.isclose` với dung sai tương đối và tuyệt đối `1e-6`.

| Đặc trưng | Số chiều có phạm vi đã lưu rộng hơn phạm vi episode huấn luyện | Phạm vi episode huấn luyện hẹp nhất so với phạm vi đã lưu |
| --- | ---: | ---: |
| `observation.state` | 3 trong 6 | 84,3% |
| `action` | 3 trong 6 | 84,2% |

![Phạm vi episode huấn luyện hẹp nhất so với phạm vi đã lưu: 84,3% đối với trạng thái và 84,2% đối với hành động](https://sapien1.com/research/lerobot-split-normalization/figures/vi/range-comparison.svg)

Mỗi tỷ lệ phần trăm là tỷ lệ độ rộng phạm vi thấp nhất trong sáu chiều của đặc trưng đó; hai hàng không nhất thiết mô tả cùng một chiều. Các thanh so sánh độ rộng, không cho biết điểm bắt đầu hay kết thúc của phạm vi. Phép tính cho 40 episode bao gồm tất cả khung hình được khai báo cho các episode đó. Một bộ lấy mẫu thực tế có thể bỏ các khung hình cuối, lấy mẫu theo cửa sổ hoặc dùng quy tắc lựa chọn khác, vì vậy đây không phải phép đo các vị trí được bộ tối ưu thực tế sử dụng.

Các bản tóm tắt episode giữ lại cũng khiến dữ liệu tổng hợp của tất cả episode mở rộng hơn dữ liệu tổng hợp của 40 episode huấn luyện ở ba chiều của mỗi đặc trưng. Thống kê đã lưu khớp với dữ liệu tổng hợp của tất cả episode trong dung sai đã nêu, nhưng chúng tôi chưa xác định độc lập cách tạo tệp đã lưu hay xác minh các tệp khung hình bên dưới. Nếu các phạm vi đã lưu đó được cung cấp cho bộ xử lý min-max mới mô tả ở trên, các cận rộng hơn có thể làm thay đổi thang đo của bộ xử lý. Ví dụ này không cho thấy bất kỳ tác vụ nào trước đây đã tải dữ liệu gì, một tập dữ liệu có phù hợp với chính sách hay không hoặc điểm số có thay đổi hay không.

## Kiểm tra phạm vi tính toán lại

Hướng dẫn thông thường là khớp bước tiền xử lý phụ thuộc dữ liệu trên tập huấn luyện và áp dụng nhất quán phép biến đổi thu được cho dữ liệu đánh giá. [Phần thảo luận của Scikit-learn về rò rỉ dữ liệu](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) giải thích nguyên tắc chung. Một [issue LeRobot](https://github.com/huggingface/lerobot/issues/2851) trước đây cũng nêu lo ngại về thống kê toàn cục và việc xác thực; kiểm tra của chúng tôi không xác minh hành vi robot được báo cáo trong issue đó hay chẩn đoán nguyên nhân. Một [thẻ tập dữ liệu SO-101](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) khác đã phân biệt thống kê chỉ từ tập huấn luyện với siêu dữ liệu của toàn bộ tập dữ liệu để phục vụ đánh giá có kiểm soát. Chúng tôi không kiểm tra số lượng hay các tệp của tập dữ liệu đó.

Hãy kiểm tra luồng tính toán lại kỹ như cách chia dữ liệu. Trong phiên bản cố định, [hàm hỗ trợ `recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) mặc định dùng luồng dữ liệu số quét các tệp Parquet trong thư mục gốc tập dữ liệu và duyệt chỉ số episode của chúng mà không lọc trực tiếp theo `dataset.episodes`. Nếu các tệp đó vẫn chứa cả hai phần dữ liệu, chỉ truyền vào một đối tượng đã chọn episode chưa đủ để khẳng định thống kê số chỉ được tính từ tập huấn luyện. Hàm này ghi thống kê vào thư mục gốc đó và giữ lại thống kê hiện có của các đặc trưng không được tính lại; theo mặc định, hàm bỏ qua các đặc trưng hình ảnh/video. Chúng tôi không chạy hàm này hay thay đổi tập dữ liệu. Docstring của hàm đã nêu rằng hàm duyệt tất cả episode, còn [hướng dẫn công cụ tập dữ liệu](https://huggingface.co/docs/lerobot/using_dataset_tools) mô tả thao tác tính toán lại.

Trước khi coi một kết quả trên tập giữ lại là độc lập, hãy ghi lại ID các episode đã chọn, phiên bản tập dữ liệu, nguồn gốc và phạm vi đặc trưng của từng thống kê cùng cấu hình bộ xử lý thực sự được dùng. Xác minh rằng phép tính dự kiến chỉ dùng tập huấn luyện đọc đúng các hàng mong muốn và dùng lại phép biến đổi phù hợp được tính từ tập huấn luyện để đánh giá. Kiểm tra riêng các đặc trưng hình ảnh, video và hành động tương đối vì chúng có thể đi theo các luồng khác. Bộ xử lý đã huấn luyện trước hoặc tiếp tục từ lần chạy trước có thể có thống kê đã lưu riêng, vì vậy hãy kiểm tra checkpoint và các tùy chỉnh thực tế thay vì mặc định rằng chúng hoạt động như ví dụ này.

## Cách chúng tôi kiểm tra

Chúng tôi đọc mã nguồn ở phiên bản cố định mà không nhập hoặc chạy LeRobot. [Tập lệnh phân tích](https://sapien1.com/research/lerobot-split-normalization/analyze.py) của chúng tôi xác minh mã băm nguồn, tải tạm thời bảng siêu dữ liệu nhỏ và tính cách chia giả định cùng các phép so sánh min/max bằng DuckDB 1.4.4. Tập lệnh xóa bảng tạm sau một lần chạy bình thường. [Kết quả tổng hợp](https://sapien1.com/research/lerobot-split-normalization/observations.json) không lưu nhãn tác vụ, ID từng episode hay thống kê theo từng episode. [Gói kiểm tra mã nguồn](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) chứa tập lệnh xác minh một số cấu trúc mã nguồn đã cố định mà không chạy mã nguồn gốc, cùng giấy phép và thông tin ghi công của mã nguồn gốc. [Trình tạo hình](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) tái tạo hai sơ đồ từ dữ liệu tổng hợp. Không có bản ghi, khung hình thô, mô hình, tác vụ huấn luyện hay tác vụ đánh giá chuẩn nào được sử dụng.

Để tái tạo trên macOS hoặc Linux với Python 3.11 và DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

[Thẻ tập dữ liệu ở phiên bản cố định](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) ghi nhãn Apache-2.0; nhãn đó không xác định quyền đối với mọi tài sản bên dưới. Trình kiểm tra mã nguồn tham chiếu các biểu thức ngắn từ LeRobot; giấy phép ở phiên bản cố định và thông tin bản quyền của mã nguồn này được đưa vào gói kiểm tra. sapien1 cung cấp các phần đóng góp tập lệnh gốc của mình để tải xuống và chạy cục bộ; không có giấy phép bổ sung nào cho phép sửa đổi hoặc phân phối lại các phần đóng góp đó được nêu. Điều khoản của tập dữ liệu nguồn và mã nguồn gốc là riêng biệt.
