דילוג לתוכן הראשי

תפריט

מחקר

חלוקת פרקי LeRobot לקבוצת בדיקה יכולה להשתמש בסטטיסטיקות נרמול רחבות יותר

שפה: עברית

אפשר להפריד פרקי רובוט לצורך הערכה ובכל זאת להשתמש בסטטיסטיקות לעיבוד מקדים שהיקפן חורג מפרקי האימון. עקבנו אחר מסלול אימון אחד של LeRobot ובדקנו תמונת מצב ציבורית של מטא־נתונים. בחלוקה היפותטית של 40 פרקי אימון ו־10 פרקי הערכה, טווחי המצב והפעולה השמורים חורגים כל אחד מטווחי פרקי האימון בשלושה מתוך שישה ממדים. זוהי השוואה של מטא־נתונים שמורים, ולא תוצאה של הרצת אימון שנצפתה או של ביצועי מודל. הדוגמה ממחישה מדוע בבדיקת קבוצת הפרקים שהופרשה יש לבדוק גם את הסטטיסטיקות המסופקות למעבד וגם את רשימת הפרקים.

החלוקה והסטטיסטיקות הן החלטות נפרדות

ב־commit 7910c20 של LeRobot, הגדרה של eval_split מקבצת את הפרקים שנבחרו לפי המשימה הראשונה הרשומה בכל אחד מהם, ומקצה להערכה את ceil(group size × eval_split) הפרקים האחרונים מכל קבוצה. בתצורת ברירת המחדל אין חלוקה להערכה; בדוגמה שלהלן הוגדרה חלוקה כזו במכוון. הקוד יוצר אובייקטים נפרדים של מערכי נתונים לאימון ולהערכה, באמצעות רשימות פרקים, אותה תיקיית שורש של מערך הנתונים ואותה גרסה.

טוען המטא־נתונים של מערך הנתונים טוען בנפרד את meta/stats.json. במסלול האימון שבדקנו, מדיניות Diffusion חדשה שאינה ממשיכה הרצה קודמת וללא נתיב למעבד שאומן מראש מקבלת את סטטיסטיקות המטא־נתונים של מערך הנתונים בעת בניית המעבדים שלה. בתצורת ברירת המחדל של Diffusion נעשה שימוש בנרמול מינימום–מקסימום למצב ולפעולה. המעקב אחר קוד המקור מתייחס לתצורה ולגרסה האלה; מדיניות אחרות, דריסות הגדרה, מעבדים שאומנו מראש או שחודשו, פורמטים וגרסאות עשויים להתנהג אחרת.

חלוקת פרקים שנבחרה והמסלול הנפרד של סטטיסטיקות שמורות למנרמל Diffusion חדש
הצגת האיור בגודל מלא

לא הרצנו את טוען מערך הנתונים או מדיניות כלשהי. התרשים מתאר את מסלול קוד המקור שנבדק בתנאים שצוינו, ולא תיעוד של הרצה בפועל.

דוגמה אחת למטא־נתונים

תמונת המצב הציבורית של lerobot/svla_so101_pickplace בגרסה f641879 מתארת 50 פרקים ו־11,939 פריימים. לכל 50 רשומות הפרקים יש אותו מפתח קיבוץ לפי המשימה הראשונה. אם לא נבחרו או הוחרגו פרקים מראש ו־eval_split=0.2, הכלל שבדקנו יקצה 40 פרקים לאימון ו־10 להערכה. סיכומי הפרקים שלהם מצהירים על 9,180 ו־2,759 פריימים בהתאמה.

הסטטיסטיקות השמורות של observation.state ושל action מדווחות כל אחת על ספירה של 11,939. מערכי המינימום והמקסימום שלהן תואמים לצבירה של סיכומי כל 50 הפרקים, בטולרנס מוחלט ויחסי של 1e-6. בהשוואה ישירה לערכי הקיצון שנצברו מ־40 פרקי האימון ההיפותטיים, הטווחים השמורים נרחבים יותר בשלושה מתוך שישה ממדים לכל מאפיין. המספר נשאר ללא שינוי גם כאשר נדרש הבדל מעבר לסף של math.isclose עם טולרנס יחסי ומוחלט של 1e-6.

מאפייןממדים שבהם הטווח השמור חורג מטווח פרקי האימוןטווח פרקי האימון הצר ביותר ביחס לטווח השמור
observation.state3 מתוך 684.3%
action3 מתוך 684.2%
טווח פרקי האימון הצר ביותר ביחס לטווח השמור: 84.3% למצב ו־84.2% לפעולה
הצגת האיור בגודל מלא

כל אחוז מייצג את היחס הקטן ביותר בין רוחבי הטווחים מבין ששת הממדים של אותו מאפיין; שתי השורות אינן בהכרח מתארות את אותו ממד. העמודות משוות רוחבים, ולא את נקודות ההתחלה או הסיום של הטווחים. החישוב של 40 הפרקים כולל את כל הפריימים שהוצהרו עבורם. דוגם בפועל עשוי להשמיט פריימים מסוף הרצף, לדגום חלונות או להשתמש בכללי בחירה אחרים, ולכן זו אינה מדידה של המיקומים שבהם השתמש ממטב אמיתי.

גם סיכומי הפרקים שהופרשו לבדיקה מרחיבים את הצבירה של כלל הפרקים מעבר לצבירה של 40 פרקי האימון, בשלושה ממדים לכל מאפיין. הסטטיסטיקות השמורות תואמות לצבירה של כלל הפרקים בטולרנס שצוין, אך לא קבענו באופן עצמאי כיצד הופק הקובץ השמור ולא אימתנו את קובצי הפריימים שבבסיסו. אם הטווחים השמורים האלה מסופקים למעבד המינימום–מקסימום החדש שתואר לעיל, הגבולות הרחבים יותר עשויים לשנות את קנה המידה שלו. הדוגמה אינה מראה מה נטען במשימה היסטורית כלשהי, אם מערך נתונים מתאים למדיניות או אם ציון כלשהו השתנה.

בדיקת ההיקף של חישוב מחדש

ההנחיה המקובלת היא להתאים עיבוד מקדים התלוי בנתונים לקבוצת האימון ולהחיל את ההתמרה המתקבלת באופן עקבי על נתוני ההערכה. הדיון של Scikit-learn בדליפת נתונים מסביר את העיקרון הכללי. גם דיווח קודם ב־LeRobot העלה חששות בנוגע לסטטיסטיקות גלובליות ולאימות; הבדיקה שלנו אינה מאמתת את התנהגות הרובוט שדווחה שם ואינה מאבחנת את הגורם לה. כרטיס אחר של מערך נתונים מסוג SO-101 כבר מבחין בין סטטיסטיקות של נתוני האימון בלבד לבין מטא־נתונים של מערך הנתונים המלא לצורך הערכה מבוקרת. לא בדקנו את הספירות או את הקבצים של אותו מערך נתונים.

יש לבדוק את מסלול החישוב מחדש בקפידה כמו את החלוקה. בגרסה הקבועה, פונקציית העזר recompute_stats משתמשת כברירת מחדל במסלול לנתונים מספריים שסורק קובצי Parquet תחת תיקיית השורש של מערך הנתונים ועובר על אינדקסי הפרקים שלהם ללא סינון ישיר לפי dataset.episodes. אם הקבצים האלה עדיין מכילים את שתי המחיצות, העברת אובייקט שנבחרו בו פרקים בלבד אינה מבטיחה סטטיסטיקות מספריות של נתוני האימון בלבד. פונקציית העזר כותבת סטטיסטיקות לתיקיית השורש הזו ושומרת סטטיסטיקות קיימות למאפיינים שהיא אינה מחשבת מחדש; כברירת מחדל היא מדלגת על מאפייני תמונה ווידאו. לא הרצנו את פונקציית העזר ולא שינינו מערך נתונים. בתיעוד הפונקציה כבר מצוין שהיא עוברת על כל הפרקים, ומדריך כלי מערכי הנתונים מתאר את פעולת החישוב מחדש.

לפני שמתייחסים לתוצאה של קבוצת בדיקה כתוצאה עצמאית, יש לתעד את מזהי הפרקים שנבחרו, את גרסת מערך הנתונים, את המקור ואת היקף המאפיינים של כל סטטיסטיקה ואת תצורת המעבד שבה נעשה שימוש בפועל. יש לוודא שחישוב מוצע של נתוני האימון בלבד קורא את השורות המיועדות, ולהשתמש שוב בהתמרה המתאימה שחושבה מנתוני האימון לצורך ההערכה. יש לבדוק בנפרד מאפייני תמונה, וידאו ופעולה יחסית, שעשויים לעבור במסלולים אחרים. למעבד שאומן מראש או שחודש עשויות להיות סטטיסטיקות שמורות משלו, ולכן יש לבדוק את נקודת השמירה ואת דריסות ההגדרה בפועל במקום להניח שההתנהגות זהה לזו שבדוגמה.

איך בדקנו

קראנו את קוד המקור בגרסה הקבועה בלי לייבא או להריץ את LeRobot. סקריפט הניתוח שלנו מאמת את גיבובי קובצי המקור, מוריד זמנית את טבלת המטא־נתונים הקטנה ומחשב את החלוקה ההיפותטית ואת השוואות המינימום והמקסימום באמצעות DuckDB 1.4.4. הוא מסיר את הטבלה הזמנית לאחר הרצה רגילה. התוצאות המצטברות אינן שומרות תוויות משימות, מזהי פרקים בודדים או סטטיסטיקות לפי פרק. חבילת בודק קוד המקור מכילה סקריפט המאמת מבנים נבחרים בקוד המקור בגרסה הקבועה בלי להריץ את הקוד המקורי, לצד הרישיון והייחוס של המקור. מחולל התרשימים משחזר את שני התרשימים מתוך הנתונים המצטברים. לא נעשה שימוש בהקלטות, בפריימים גולמיים, במודל, באימון או במשימת השוואת ביצועים.

לשחזור ב־macOS או ב־Linux עם Python 3.11 ו־DuckDB 1.4.4:

python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py

כרטיס מערך הנתונים בגרסה הקבועה מסמן אותו כ־Apache-2.0; סימון זה אינו מכריע בשאלת הזכויות בכל אחד מהנכסים שבבסיסו. בודק קוד המקור מפנה לביטויים קצרים מתוך LeRobot; הרישיון בגרסה הקבועה וייחוס זכויות היוצרים של המקור נכללים בחבילת הבודק. sapien1 מציעה את תרומות הסקריפט המקוריות שלה להורדה ולהרצה מקומית; לא צוין רישיון נוסף לשינוי התרומות האלה או להפצתן מחדש. תנאי השימוש במערך הנתונים המקורי ובקוד המקור הנלווה נפרדים.