# การกันชุดเอพิโซด LeRobot ไว้ประเมินอาจใช้สถิติการทำ normalization ที่ครอบคลุมข้อมูลกว้างกว่า

ทีมสามารถแยกเอพิโซดของหุ่นยนต์ไว้สำหรับประเมิน แต่ยังใช้สถิติ preprocessing ที่ครอบคลุมข้อมูลนอกเหนือจากเอพิโซดฝึกได้ เราตรวจสอบเส้นทางการฝึกหนึ่งของ LeRobot และตรวจดู snapshot ของ metadata สาธารณะ ในตัวอย่างสมมติที่แบ่งเป็น 40 เอพิโซดฝึกและ 10 เอพิโซดประเมิน ช่วง state และ action ที่บันทึกไว้ต่างก็กว้างกว่าช่วงของเอพิโซดฝึกใน 3 จาก 6 มิติ นี่เป็นการเปรียบเทียบ metadata ที่บันทึกไว้ ไม่ใช่การสังเกตการฝึกจริงหรือผลด้านประสิทธิภาพของโมเดล ตัวอย่างนี้แสดงให้เห็นว่าในการตรวจทานชุดที่กันไว้ควรพิจารณาทั้งสถิติที่ส่งให้ processor และรายการเอพิโซด

## การแบ่งชุดและสถิติเป็นคนละการตัดสินใจ

ที่ [LeRobot คอมมิต `7910c20`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py) ค่า `eval_split` ที่กำหนดไว้จะจัดกลุ่มเอพิโซดที่เลือกตามงานแรกที่ระบุในแต่ละเอพิโซด แล้วกำหนด `ceil(group size × eval_split)` เอพิโซดสุดท้ายของแต่ละกลุ่มให้ใช้ประเมิน [การตั้งค่าเริ่มต้น](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) ไม่มีการแบ่งชุดประเมิน ส่วนตัวอย่างด้านล่างตั้งค่าให้มีโดยตั้งใจ โค้ดสร้างออบเจ็กต์ชุดข้อมูลฝึกและประเมินแยกกันโดยใช้รายการเอพิโซด แต่ใช้ root และ revision ของชุดข้อมูลเดียวกัน

[ตัวโหลด metadata ของชุดข้อมูล](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) โหลด `meta/stats.json` แยกต่างหาก ใน[เส้นทางการฝึก](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py)ที่ตรวจสอบ Diffusion policy ใหม่ที่ไม่ได้กลับมาฝึกต่อและไม่มี path ของ processor ที่ฝึกไว้ล่วงหน้า จะได้รับสถิติจาก metadata ของชุดข้อมูลเมื่อสร้าง processor [การตั้งค่า Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) เริ่มต้นใช้ min-max normalization สำหรับ state และ action การตรวจสอบซอร์สนี้จำกัดอยู่ที่การตั้งค่าและเวอร์ชันดังกล่าว policy อื่น การตั้งค่าทับ processor ที่ฝึกไว้ล่วงหน้าหรือกลับมาฝึกต่อ รูปแบบและเวอร์ชันอื่นอาจแตกต่างกัน

![การแบ่งเอพิโซดที่เลือกและเส้นทางสถิติที่บันทึกไว้ซึ่งแยกไปยัง Diffusion normalizer ใหม่](https://sapien1.com/research/lerobot-split-normalization/figures/th/stats-path.svg)

เราไม่ได้เรียกใช้ตัวโหลดชุดข้อมูลหรือ policy แผนภาพอธิบายเส้นทางในซอร์สที่ตรวจสอบภายใต้เงื่อนไขที่ระบุ ไม่ใช่บันทึกการรันจริง

## ตัวอย่าง metadata หนึ่งชุด

[snapshot ของ `lerobot/svla_so101_pickplace` สาธารณะที่ revision `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) ระบุว่ามี 50 เอพิโซดและ 11,939 เฟรม ระเบียนเอพิโซดทั้ง 50 รายการใช้คีย์จัดกลุ่มตามงานแรกเดียวกัน หากไม่มีเอพิโซดที่เลือกไว้ล่วงหน้าหรือถูกตัดออก และกำหนด `eval_split=0.2` กฎที่ตรวจสอบจะจัด 40 เอพิโซดให้ฝึกและ 10 เอพิโซดให้ประเมิน โดยสรุปของเอพิโซดระบุจำนวนเฟรมไว้ 9,180 และ 2,759 เฟรมตามลำดับ

สถิติ `observation.state` และ `action` ที่บันทึกไว้แต่ละรายการระบุ count เท่ากับ 11,939 อาร์เรย์ min/max ของทั้งสองตรงกับค่ารวมจากสรุปทั้ง 50 เอพิโซดภายในค่าความคลาดเคลื่อนสัมบูรณ์และสัมพัทธ์ `1e-6` เมื่อเทียบโดยตรงกับค่าต่ำสุดและสูงสุดที่รวมจากเอพิโซดฝึกสมมติ 40 เอพิโซด ช่วงที่บันทึกไว้ขยายออกไปไกลกว่าใน 3 จาก 6 มิติของแต่ละ feature จำนวนนี้ไม่เปลี่ยนเมื่อกำหนดให้ความต่างต้องเกินเกณฑ์ `math.isclose` ที่ใช้ค่าความคลาดเคลื่อนสัมพัทธ์และสัมบูรณ์ `1e-6`

| คุณลักษณะ | มิติที่ช่วงที่บันทึกไว้ขยายเกินช่วงของเอพิโซดฝึก | ช่วงเอพิโซดฝึกที่แคบที่สุดเทียบกับช่วงที่บันทึกไว้ |
| --- | ---: | ---: |
| `observation.state` | 3 จาก 6 | 84.3% |
| `action` | 3 จาก 6 | 84.2% |

![ช่วงเอพิโซดฝึกที่แคบที่สุดเทียบกับช่วงที่บันทึกไว้: 84.3% สำหรับ state และ 84.2% สำหรับ action](https://sapien1.com/research/lerobot-split-normalization/figures/th/range-comparison.svg)

แต่ละเปอร์เซ็นต์คืออัตราส่วนความกว้างช่วงที่ต่ำที่สุดใน 6 มิติของ feature นั้น ทั้งสองแถวไม่จำเป็นต้องเป็นมิติเดียวกัน แท่งเปรียบเทียบความกว้าง ไม่ใช่ตำแหน่งเริ่มต้นหรือสิ้นสุดของช่วง การคำนวณสำหรับ 40 เอพิโซดรวมทุกเฟรมที่ระบุไว้สำหรับเอพิโซดเหล่านั้น sampler ที่ใช้จริงอาจตัดเฟรมท้ายออก สุ่ม window หรือใช้กฎการเลือกอื่น จึงไม่ใช่การวัดตำแหน่งข้อมูลที่ optimizer ใช้จริง

สรุปของเอพิโซดที่กันไว้ยังทำให้ค่ารวมของทุกเอพิโซดขยายเกินค่ารวมของ 40 เอพิโซดฝึกใน 3 มิติของแต่ละ feature สถิติที่บันทึกไว้ตรงกับค่ารวมของทุกเอพิโซดภายในค่าความคลาดเคลื่อนที่ระบุ แต่เราไม่ได้ยืนยันแยกต่างหากว่าไฟล์ที่บันทึกไว้สร้างขึ้นอย่างไรหรือตรวจสอบไฟล์เฟรมต้นทาง หากส่งช่วงที่บันทึกไว้เหล่านั้นให้ min-max processor ใหม่ตามที่อธิบายข้างต้น ขอบเขตที่กว้างกว่าอาจเปลี่ยนสเกลของ processor ได้ ตัวอย่างนี้ไม่ได้แสดงว่า job ที่เคยรันโหลดอะไร ชุดข้อมูลเหมาะกับ policy หรือไม่ หรือคะแนนเปลี่ยนไปหรือไม่

## ตรวจสอบขอบเขตของการคำนวณใหม่

แนวทางที่คุ้นเคยคือปรับ preprocessing ที่ขึ้นอยู่กับข้อมูลให้เข้ากับชุดฝึก แล้วใช้การแปลงที่ได้กับข้อมูลประเมินอย่างสอดคล้องกัน [คำอธิบายของ Scikit-learn เรื่อง data leakage](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) อธิบายหลักการทั่วไป ส่วน [issue ของ LeRobot](https://github.com/huggingface/lerobot/issues/2851) ก่อนหน้านี้ได้ตั้งข้อกังวลเกี่ยวกับสถิติรวมและการตรวจสอบความถูกต้องเช่นกัน แต่การตรวจสอบของเราไม่ได้ยืนยันพฤติกรรมหุ่นยนต์ที่รายงานใน issue หรือวินิจฉัยสาเหตุ [การ์ดชุดข้อมูล SO-101](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) อีกชุดหนึ่งแยกสถิติเฉพาะชุดฝึกออกจาก metadata ของทั้งชุดข้อมูลอยู่แล้วสำหรับการประเมินแบบควบคุม เราไม่ได้ตรวจสอบจำนวนหรือไฟล์ของชุดข้อมูลนั้น

ตรวจสอบเส้นทางการคำนวณใหม่อย่างละเอียดเช่นเดียวกับการแบ่งชุด ในเวอร์ชันที่ระบุ revision [ฟังก์ชันช่วย `recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) ใช้เส้นทางข้อมูลตัวเลขเป็นค่าเริ่มต้น โดยสแกนไฟล์ Parquet ภายใต้ root ของชุดข้อมูลและวนผ่านดัชนีเอพิโซดโดยไม่มีตัวกรอง `dataset.episodes` โดยตรง หากไฟล์เหล่านั้นยังมีข้อมูลทั้งสองส่วน การส่งออบเจ็กต์ที่เลือกเอพิโซดแล้วเพียงอย่างเดียวไม่ได้ยืนยันว่าสถิติตัวเลขมาจากชุดฝึกเท่านั้น ฟังก์ชันนี้จะเขียนสถิติลงใน root นั้นและเก็บสถิติเดิมของ feature ที่ไม่ได้คำนวณใหม่ไว้ โดยค่าเริ่มต้นจะข้าม feature รูปภาพและวิดีโอ เราไม่ได้เรียกใช้ฟังก์ชันนี้ หรือแก้ไขชุดข้อมูล docstring ของฟังก์ชันนี้ ระบุอยู่แล้วว่าวนผ่านทุกเอพิโซด และ[คู่มือ dataset-tools](https://huggingface.co/docs/lerobot/using_dataset_tools) อธิบายการคำนวณใหม่

ก่อนถือว่าผลจากชุดที่กันไว้เป็นอิสระ ให้บันทึก ID ของเอพิโซดที่เลือก revision ของชุดข้อมูล ที่มาและขอบเขต feature ของสถิติแต่ละรายการ รวมถึงการตั้งค่า processor ที่ใช้จริง ตรวจสอบว่าการคำนวณที่เสนอให้ใช้เฉพาะชุดฝึกอ่านแถวที่ต้องการ และใช้การแปลงที่ได้จากชุดฝึกซึ่งเหมาะสมซ้ำสำหรับการประเมิน ตรวจสอบ feature รูปภาพ วิดีโอ และ relative-action แยกต่างหาก เนื่องจากอาจใช้เส้นทางต่างกัน processor ที่ฝึกไว้ล่วงหน้าหรือกลับมาฝึกต่ออาจมีสถิติที่บันทึกไว้ของตนเอง จึงควรตรวจสอบ checkpoint และการตั้งค่าทับที่ใช้จริง แทนการสมมติว่าจะมีพฤติกรรมเหมือนตัวอย่างนี้

## วิธีตรวจสอบ

เราอ่านซอร์สที่ระบุ revision โดยไม่ import หรือรัน LeRobot [สคริปต์วิเคราะห์](https://sapien1.com/research/lerobot-split-normalization/analyze.py) ของเราตรวจสอบแฮชของซอร์ส ดาวน์โหลดตาราง metadata ขนาดเล็กชั่วคราว และคำนวณการแบ่งสมมติรวมถึงการเปรียบเทียบ min/max ด้วย DuckDB 1.4.4 โดยจะลบตารางชั่วคราวหลังการรันตามปกติ [ผลรวม](https://sapien1.com/research/lerobot-split-normalization/observations.json) ไม่เก็บป้ายกำกับงาน ID ของแต่ละเอพิโซด หรือสถิติรายเอพิโซด [ชุดเครื่องมือตรวจสอบซอร์ส](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) มีสคริปต์สำหรับตรวจสอบโครงสร้างซอร์สที่ระบุ revision บางส่วนโดยไม่รันโค้ดต้นทาง พร้อมใบอนุญาตและข้อความระบุที่มาของต้นทาง [เครื่องมือสร้างภาพประกอบ](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) สร้างแผนภาพทั้งสองซ้ำจากผลรวม โดยไม่ได้ใช้ข้อมูลบันทึก เฟรมดิบ โมเดล งานฝึก หรืองาน benchmark

วิธีทำซ้ำบน macOS หรือ Linux ด้วย Python 3.11 และ DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

[การ์ดชุดข้อมูลที่ระบุ revision](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) ระบุป้ายกำกับ Apache-2.0 แต่ป้ายกำกับนี้ไม่ได้ยืนยันสิทธิ์สำหรับสินทรัพย์ต้นทางทุกรายการ เครื่องมือตรวจสอบซอร์สอ้างอิงนิพจน์สั้น ๆ จาก LeRobot โดยมีใบอนุญาตที่ระบุ revision และข้อความระบุลิขสิทธิ์รวมอยู่ในชุดเครื่องมือตรวจสอบ sapien1 เปิดให้ดาวน์โหลดและรันส่วนสคริปต์ที่สร้างขึ้นเองในเครื่อง โดยไม่ได้ระบุใบอนุญาตเพิ่มเติมสำหรับการแก้ไขหรือเผยแพร่ส่วนดังกล่าวต่อ ข้อกำหนดของชุดข้อมูลต้นทางและโค้ดต้นทางแยกจากกัน
