# חלוקת פרקי LeRobot לקבוצת בדיקה יכולה להשתמש בסטטיסטיקות נרמול רחבות יותר

אפשר להפריד פרקי רובוט לצורך הערכה ובכל זאת להשתמש בסטטיסטיקות לעיבוד מקדים שהיקפן חורג מפרקי האימון. עקבנו אחר מסלול אימון אחד של LeRobot ובדקנו תמונת מצב ציבורית של מטא־נתונים. בחלוקה היפותטית של 40 פרקי אימון ו־10 פרקי הערכה, טווחי המצב והפעולה השמורים חורגים כל אחד מטווחי פרקי האימון בשלושה מתוך שישה ממדים. זוהי השוואה של מטא־נתונים שמורים, ולא תוצאה של הרצת אימון שנצפתה או של ביצועי מודל. הדוגמה ממחישה מדוע בבדיקת קבוצת הפרקים שהופרשה יש לבדוק גם את הסטטיסטיקות המסופקות למעבד וגם את רשימת הפרקים.

## החלוקה והסטטיסטיקות הן החלטות נפרדות

ב־[commit `7910c20` של LeRobot](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/factory.py), הגדרה של `eval_split` מקבצת את הפרקים שנבחרו לפי המשימה הראשונה הרשומה בכל אחד מהם, ומקצה להערכה את `ceil(group size × eval_split)` הפרקים האחרונים מכל קבוצה. ב[תצורת ברירת המחדל](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/configs/default.py) אין חלוקה להערכה; בדוגמה שלהלן הוגדרה חלוקה כזו במכוון. הקוד יוצר אובייקטים נפרדים של מערכי נתונים לאימון ולהערכה, באמצעות רשימות פרקים, אותה תיקיית שורש של מערך הנתונים ואותה גרסה.

[טוען המטא־נתונים של מערך הנתונים](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_metadata.py) טוען בנפרד את `meta/stats.json`. ב[מסלול האימון](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/scripts/lerobot_train.py) שבדקנו, מדיניות Diffusion חדשה שאינה ממשיכה הרצה קודמת וללא נתיב למעבד שאומן מראש מקבלת את סטטיסטיקות המטא־נתונים של מערך הנתונים בעת בניית המעבדים שלה. ב[תצורת ברירת המחדל של Diffusion](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/policies/diffusion/configuration_diffusion.py) נעשה שימוש בנרמול מינימום–מקסימום למצב ולפעולה. המעקב אחר קוד המקור מתייחס לתצורה ולגרסה האלה; מדיניות אחרות, דריסות הגדרה, מעבדים שאומנו מראש או שחודשו, פורמטים וגרסאות עשויים להתנהג אחרת.

![חלוקת פרקים שנבחרה והמסלול הנפרד של סטטיסטיקות שמורות למנרמל Diffusion חדש](https://sapien1.com/research/lerobot-split-normalization/figures/he/stats-path.svg)

לא הרצנו את טוען מערך הנתונים או מדיניות כלשהי. התרשים מתאר את מסלול קוד המקור שנבדק בתנאים שצוינו, ולא תיעוד של הרצה בפועל.

## דוגמה אחת למטא־נתונים

[תמונת המצב הציבורית של `lerobot/svla_so101_pickplace` בגרסה `f641879`](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/tree/f641879e22172be7e8161d5e6c1503c2d2feb657) מתארת 50 פרקים ו־11,939 פריימים. לכל 50 רשומות הפרקים יש אותו מפתח קיבוץ לפי המשימה הראשונה. אם לא נבחרו או הוחרגו פרקים מראש ו־`eval_split=0.2`, הכלל שבדקנו יקצה 40 פרקים לאימון ו־10 להערכה. סיכומי הפרקים שלהם מצהירים על 9,180 ו־2,759 פריימים בהתאמה.

הסטטיסטיקות השמורות של `observation.state` ושל `action` מדווחות כל אחת על ספירה של 11,939. מערכי המינימום והמקסימום שלהן תואמים לצבירה של סיכומי כל 50 הפרקים, בטולרנס מוחלט ויחסי של `1e-6`. בהשוואה ישירה לערכי הקיצון שנצברו מ־40 פרקי האימון ההיפותטיים, הטווחים השמורים נרחבים יותר בשלושה מתוך שישה ממדים לכל מאפיין. המספר נשאר ללא שינוי גם כאשר נדרש הבדל מעבר לסף של `math.isclose` עם טולרנס יחסי ומוחלט של `1e-6`.

| מאפיין | ממדים שבהם הטווח השמור חורג מטווח פרקי האימון | טווח פרקי האימון הצר ביותר ביחס לטווח השמור |
| --- | ---: | ---: |
| `observation.state` | 3 מתוך 6 | 84.3% |
| `action` | 3 מתוך 6 | 84.2% |

![טווח פרקי האימון הצר ביותר ביחס לטווח השמור: 84.3% למצב ו־84.2% לפעולה](https://sapien1.com/research/lerobot-split-normalization/figures/he/range-comparison.svg)

כל אחוז מייצג את היחס הקטן ביותר בין רוחבי הטווחים מבין ששת הממדים של אותו מאפיין; שתי השורות אינן בהכרח מתארות את אותו ממד. העמודות משוות רוחבים, ולא את נקודות ההתחלה או הסיום של הטווחים. החישוב של 40 הפרקים כולל את כל הפריימים שהוצהרו עבורם. דוגם בפועל עשוי להשמיט פריימים מסוף הרצף, לדגום חלונות או להשתמש בכללי בחירה אחרים, ולכן זו אינה מדידה של המיקומים שבהם השתמש ממטב אמיתי.

גם סיכומי הפרקים שהופרשו לבדיקה מרחיבים את הצבירה של כלל הפרקים מעבר לצבירה של 40 פרקי האימון, בשלושה ממדים לכל מאפיין. הסטטיסטיקות השמורות תואמות לצבירה של כלל הפרקים בטולרנס שצוין, אך לא קבענו באופן עצמאי כיצד הופק הקובץ השמור ולא אימתנו את קובצי הפריימים שבבסיסו. אם הטווחים השמורים האלה מסופקים למעבד המינימום–מקסימום החדש שתואר לעיל, הגבולות הרחבים יותר עשויים לשנות את קנה המידה שלו. הדוגמה אינה מראה מה נטען במשימה היסטורית כלשהי, אם מערך נתונים מתאים למדיניות או אם ציון כלשהו השתנה.

## בדיקת ההיקף של חישוב מחדש

ההנחיה המקובלת היא להתאים עיבוד מקדים התלוי בנתונים לקבוצת האימון ולהחיל את ההתמרה המתקבלת באופן עקבי על נתוני ההערכה. [הדיון של Scikit-learn בדליפת נתונים](https://scikit-learn.org/stable/common_pitfalls.html#data-leakage) מסביר את העיקרון הכללי. גם [דיווח קודם ב־LeRobot](https://github.com/huggingface/lerobot/issues/2851) העלה חששות בנוגע לסטטיסטיקות גלובליות ולאימות; הבדיקה שלנו אינה מאמתת את התנהגות הרובוט שדווחה שם ואינה מאבחנת את הגורם לה. [כרטיס אחר של מערך נתונים מסוג SO-101](https://huggingface.co/datasets/Samisaliveagain/so101_wm/blob/6de54268d238ac883870b136fd19b39d5591c8de/README.md) כבר מבחין בין סטטיסטיקות של נתוני האימון בלבד לבין מטא־נתונים של מערך הנתונים המלא לצורך הערכה מבוקרת. לא בדקנו את הספירות או את הקבצים של אותו מערך נתונים.

יש לבדוק את מסלול החישוב מחדש בקפידה כמו את החלוקה. בגרסה הקבועה, פונקציית העזר [`recompute_stats`](https://github.com/huggingface/lerobot/blob/7910c20a75834ad3fa6a9792df4d44a614d1bba6/src/lerobot/datasets/dataset_tools.py) משתמשת כברירת מחדל במסלול לנתונים מספריים שסורק קובצי Parquet תחת תיקיית השורש של מערך הנתונים ועובר על אינדקסי הפרקים שלהם ללא סינון ישיר לפי `dataset.episodes`. אם הקבצים האלה עדיין מכילים את שתי המחיצות, העברת אובייקט שנבחרו בו פרקים בלבד אינה מבטיחה סטטיסטיקות מספריות של נתוני האימון בלבד. פונקציית העזר כותבת סטטיסטיקות לתיקיית השורש הזו ושומרת סטטיסטיקות קיימות למאפיינים שהיא אינה מחשבת מחדש; כברירת מחדל היא מדלגת על מאפייני תמונה ווידאו. לא הרצנו את פונקציית העזר ולא שינינו מערך נתונים. בתיעוד הפונקציה כבר מצוין שהיא עוברת על כל הפרקים, ו[מדריך כלי מערכי הנתונים](https://huggingface.co/docs/lerobot/using_dataset_tools) מתאר את פעולת החישוב מחדש.

לפני שמתייחסים לתוצאה של קבוצת בדיקה כתוצאה עצמאית, יש לתעד את מזהי הפרקים שנבחרו, את גרסת מערך הנתונים, את המקור ואת היקף המאפיינים של כל סטטיסטיקה ואת תצורת המעבד שבה נעשה שימוש בפועל. יש לוודא שחישוב מוצע של נתוני האימון בלבד קורא את השורות המיועדות, ולהשתמש שוב בהתמרה המתאימה שחושבה מנתוני האימון לצורך ההערכה. יש לבדוק בנפרד מאפייני תמונה, וידאו ופעולה יחסית, שעשויים לעבור במסלולים אחרים. למעבד שאומן מראש או שחודש עשויות להיות סטטיסטיקות שמורות משלו, ולכן יש לבדוק את נקודת השמירה ואת דריסות ההגדרה בפועל במקום להניח שההתנהגות זהה לזו שבדוגמה.

## איך בדקנו

קראנו את קוד המקור בגרסה הקבועה בלי לייבא או להריץ את LeRobot. [סקריפט הניתוח](https://sapien1.com/research/lerobot-split-normalization/analyze.py) שלנו מאמת את גיבובי קובצי המקור, מוריד זמנית את טבלת המטא־נתונים הקטנה ומחשב את החלוקה ההיפותטית ואת השוואות המינימום והמקסימום באמצעות DuckDB 1.4.4. הוא מסיר את הטבלה הזמנית לאחר הרצה רגילה. [התוצאות המצטברות](https://sapien1.com/research/lerobot-split-normalization/observations.json) אינן שומרות תוויות משימות, מזהי פרקים בודדים או סטטיסטיקות לפי פרק. [חבילת בודק קוד המקור](https://sapien1.com/research/lerobot-split-normalization/source-check.zip) מכילה סקריפט המאמת מבנים נבחרים בקוד המקור בגרסה הקבועה בלי להריץ את הקוד המקורי, לצד הרישיון והייחוס של המקור. [מחולל התרשימים](https://sapien1.com/research/lerobot-split-normalization/render-assets.py) משחזר את שני התרשימים מתוך הנתונים המצטברים. לא נעשה שימוש בהקלטות, בפריימים גולמיים, במודל, באימון או במשימת השוואת ביצועים.

לשחזור ב־macOS או ב־Linux עם Python 3.11 ו־DuckDB 1.4.4:

```
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py
```

[כרטיס מערך הנתונים בגרסה הקבועה](https://huggingface.co/datasets/lerobot/svla_so101_pickplace/blob/f641879e22172be7e8161d5e6c1503c2d2feb657/README.md) מסמן אותו כ־Apache-2.0; סימון זה אינו מכריע בשאלת הזכויות בכל אחד מהנכסים שבבסיסו. בודק קוד המקור מפנה לביטויים קצרים מתוך LeRobot; הרישיון בגרסה הקבועה וייחוס זכויות היוצרים של המקור נכללים בחבילת הבודק. sapien1 מציעה את תרומות הסקריפט המקוריות שלה להורדה ולהרצה מקומית; לא צוין רישיון נוסף לשינוי התרומות האלה או להפצתן מחדש. תנאי השימוש במערך הנתונים המקורי ובקוד המקור הנלווה נפרדים.
