मुख्य सामग्री पर जाएँ

मेन्यू

शोध

LeRobot एपिसोड होल्डआउट में नॉर्मलाइज़ेशन के आँकड़ों का दायरा व्यापक हो सकता है

भाषा: हिन्दी

कोई टीम मूल्यांकन के लिए रोबोट एपिसोड अलग रख सकती है और फिर भी ऐसे प्रीप्रोसेसिंग आँकड़े इस्तेमाल कर सकती है जिनका दायरा ट्रेनिंग एपिसोड से आगे तक जाता है. हमने LeRobot के एक ट्रेनिंग पथ का विश्लेषण किया और सार्वजनिक मेटाडेटा स्नैपशॉट जाँचा. 40 ट्रेनिंग और 10 मूल्यांकन एपिसोड के एक काल्पनिक विभाजन में, सहेजी गई state और action रेंज, दोनों ही छह में से तीन आयामों में ट्रेनिंग एपिसोड की रेंज से आगे जाती हैं. यह सहेजे गए मेटाडेटा की तुलना है, किसी देखी गई ट्रेनिंग रन या मॉडल के प्रदर्शन का नतीजा नहीं. यह दिखाता है कि होल्डआउट की समीक्षा में एपिसोड सूची के साथ प्रोसेसर को दिए गए आँकड़े भी शामिल होने चाहिए.

विभाजन और आँकड़े अलग फैसले हैं

LeRobot कमिट 7910c20 पर, कॉन्फ़िगर किया गया eval_split चुने गए एपिसोड को उनके पहले सूचीबद्ध टास्क के आधार पर समूहित करता है और हर समूह के आखिरी ceil(group size × eval_split) एपिसोड मूल्यांकन को देता है. डिफ़ॉल्ट कॉन्फ़िगरेशन में मूल्यांकन विभाजन नहीं है; नीचे दिए उदाहरण में जानबूझकर एक विभाजन सेट किया गया है. कोड एपिसोड सूचियों, एक ही डेटासेट रूट और एक ही रिविज़न का उपयोग करके अलग ट्रेनिंग और मूल्यांकन डेटासेट ऑब्जेक्ट बनाता है.

डेटासेट मेटाडेटा लोडर अलग से meta/stats.json लोड करता है. जाँचे गए ट्रेनिंग पथ में, बिना प्रीट्रेन्ड प्रोसेसर पथ वाली नई, फिर से शुरू नहीं की गई Diffusion पॉलिसी के प्रोसेसर बनते समय उसे डेटासेट मेटाडेटा के आँकड़े मिलते हैं. डिफ़ॉल्ट Diffusion कॉन्फ़िगरेशन state और action के लिए मिन-मैक्स नॉर्मलाइज़ेशन इस्तेमाल करता है. स्रोत का यह विश्लेषण इसी कॉन्फ़िगरेशन और संस्करण तक सीमित है; दूसरी पॉलिसी, ओवरराइड, प्रीट्रेन्ड या फिर से शुरू किए गए प्रोसेसर, फ़ॉर्मैट और संस्करण अलग हो सकते हैं.

चुना गया एपिसोड विभाजन और नए Diffusion नॉर्मलाइज़र तक सहेजे आँकड़ों का अलग पथ
चित्र पूरे आकार में देखें

हमने डेटासेट लोडर या किसी पॉलिसी को चलाया नहीं. आरेख बताई गई शर्तों के तहत जाँचे गए स्रोत पथ को दिखाता है, किसी वास्तविक रन का रिकॉर्ड नहीं है.

मेटाडेटा का एक उदाहरण

सार्वजनिक lerobot/svla_so101_pickplace स्नैपशॉट, रिविज़न f641879 पर, में 50 एपिसोड और 11,939 फ़्रेम दर्ज हैं. सभी 50 एपिसोड रिकॉर्ड की पहले टास्क वाली ग्रुपिंग कुंजी एक ही है. अगर कोई एपिसोड पहले से चुना या बाहर नहीं किया गया हो और eval_split=0.2 हो, तो जाँचा गया नियम 40 एपिसोड ट्रेनिंग और 10 मूल्यांकन को देगा. उनके एपिसोड सारांशों में क्रमशः 9,180 और 2,759 फ़्रेम दर्ज हैं.

सहेजे गए observation.state और action आँकड़ों में हर एक की गिनती 11,939 है. उनके min/max ऐरे, 1e-6 की निरपेक्ष और सापेक्ष सहनशीलता के भीतर, सभी 50 एपिसोड सारांशों के समेकित आँकड़ों से मेल खाते हैं. काल्पनिक 40 ट्रेनिंग एपिसोड से समेकित न्यूनतम और अधिकतम मानों से सीधी तुलना करने पर, सहेजी गई रेंज हर फ़ीचर के छह में से तीन आयामों में आगे तक जाती हैं. 1e-6 की सापेक्ष और निरपेक्ष सहनशीलता के साथ math.isclose से अधिक अंतर आवश्यक मानने पर भी यह संख्या नहीं बदलती.

फ़ीचरवे आयाम जहाँ सहेजी रेंज ट्रेनिंग एपिसोड की रेंज से आगे जाती हैसहेजी रेंज के अनुपात में ट्रेनिंग एपिसोड की सबसे संकरी रेंज
observation.state6 में से 384.3%
action6 में से 384.2%
सहेजी रेंज के अनुपात में ट्रेनिंग एपिसोड की सबसे संकरी रेंज: state के लिए 84.3% और action के लिए 84.2%
चित्र पूरे आकार में देखें

हर प्रतिशत उस फ़ीचर के छह आयामों में रेंज की चौड़ाई का सबसे छोटा अनुपात है; ज़रूरी नहीं कि दोनों पंक्तियाँ एक ही आयाम को दर्शाएँ. बार चौड़ाई की तुलना करते हैं, न कि रेंज कहाँ शुरू या खत्म होती हैं. 40 एपिसोड की गणना में उन एपिसोड के लिए दर्ज सभी फ़्रेम शामिल हैं. कोई वास्तविक सैंपलर अंत के फ़्रेम छोड़ सकता है, विंडो सैंपल कर सकता है या चयन के दूसरे नियम इस्तेमाल कर सकता है, इसलिए यह किसी वास्तविक ऑप्टिमाइज़र द्वारा इस्तेमाल की गई स्थितियों का माप नहीं है.

अलग रखे गए एपिसोड के सारांश भी हर फ़ीचर के तीन आयामों में सभी एपिसोड के समेकित आँकड़ों को 40 ट्रेनिंग एपिसोड के समेकित आँकड़ों से आगे बढ़ाते हैं. सहेजे गए आँकड़े बताई गई सहनशीलता के भीतर सभी एपिसोड के समेकित आँकड़ों से मेल खाते हैं, लेकिन हमने स्वतंत्र रूप से यह पता नहीं लगाया कि सहेजी गई फ़ाइल कैसे बनी थी और न ही मूल फ़्रेम फ़ाइलों की पुष्टि की. अगर ये सहेजी रेंज ऊपर बताए गए नए मिन-मैक्स प्रोसेसर को दी जाएँ, तो अधिक विस्तृत सीमाएँ उसका स्केल बदल सकती हैं. यह उदाहरण नहीं दिखाता कि किसी पुराने जॉब ने क्या लोड किया, कोई डेटासेट किसी पॉलिसी के लिए उपयुक्त है या नहीं, या कोई स्कोर बदला या नहीं.

दोबारा गणना का दायरा जाँचें

आम सलाह है कि डेटा पर निर्भर प्रीप्रोसेसिंग को ट्रेनिंग सेट पर फ़िट करें और उससे मिले ट्रांसफ़ॉर्मेशन को मूल्यांकन डेटा पर लगातार उसी तरह लागू करें. डेटा लीकेज पर Scikit-learn की चर्चा इस सामान्य सिद्धांत को समझाती है. पहले दर्ज एक LeRobot इश्यू में भी ग्लोबल आँकड़ों और वैलिडेशन को लेकर चिंताएँ उठाई गई थीं; हमारी जाँच उस इश्यू में बताए गए रोबोट के व्यवहार की पुष्टि या उसके कारण का निदान नहीं करती. एक अलग SO-101 डेटासेट कार्ड नियंत्रित मूल्यांकन के लिए सिर्फ़ ट्रेनिंग के आँकड़ों और पूरे डेटासेट के मेटाडेटा में पहले से अंतर करता है. हमने उस डेटासेट की अपनी गिनतियाँ या फ़ाइलें नहीं जाँचीं.

दोबारा गणना के पथ को भी विभाजन जितनी सावधानी से जाँचें. तय संस्करण में, recompute_stats हेल्पर डिफ़ॉल्ट रूप से संख्यात्मक डेटा वाला पथ इस्तेमाल करता है, जो डेटासेट रूट के अंतर्गत Parquet फ़ाइलें स्कैन करता है और सीधे dataset.episodes फ़िल्टर के बिना उनके एपिसोड इंडेक्स पर चलता है. अगर उन फ़ाइलों में अब भी दोनों विभाजन मौजूद हैं, तो केवल एपिसोड चुनकर बनाया गया ऑब्जेक्ट देने से यह साबित नहीं होता कि संख्यात्मक आँकड़े सिर्फ़ ट्रेनिंग के हैं. हेल्पर उसी रूट पर आँकड़े लिखता है और जिन फ़ीचर की दोबारा गणना नहीं करता, उनके मौजूदा आँकड़े बनाए रखता है; डिफ़ॉल्ट रूप से वह इमेज/वीडियो फ़ीचर छोड़ देता है. हमने हेल्पर नहीं चलाया और न ही कोई डेटासेट बदला. उसकी docstring में पहले से लिखा है कि वह सभी एपिसोड पर चलता है, और डेटासेट-टूल्स गाइड दोबारा गणना की प्रक्रिया बताती है.

किसी होल्डआउट नतीजे को स्वतंत्र मानने से पहले चुने गए एपिसोड ID, डेटासेट रिविज़न, हर आँकड़े की उत्पत्ति और फ़ीचर का दायरा, और वास्तव में इस्तेमाल हुआ प्रोसेसर कॉन्फ़िगरेशन दर्ज करें. पुष्टि करें कि सिर्फ़ ट्रेनिंग के लिए प्रस्तावित गणना सही पंक्तियाँ पढ़ती है, और मूल्यांकन के लिए ट्रेनिंग से मिले उपयुक्त ट्रांसफ़ॉर्मेशन को फिर इस्तेमाल करें. इमेज, वीडियो और रिलेटिव-एक्शन फ़ीचर अलग से जाँचें, क्योंकि उनके पथ अलग हो सकते हैं. प्रीट्रेन्ड या फिर से शुरू किए गए प्रोसेसर के अपने सहेजे आँकड़े हो सकते हैं, इसलिए इस उदाहरण जैसा व्यवहार मान लेने के बजाय वास्तविक चेकपॉइंट और ओवरराइड जाँचें.

हमने कैसे जाँचा

हमने LeRobot को इम्पोर्ट या चलाए बिना तय संस्करण का स्रोत पढ़ा. हमारी विश्लेषण स्क्रिप्ट स्रोत हैश की पुष्टि करती है, छोटी मेटाडेटा टेबल अस्थायी रूप से डाउनलोड करती है और DuckDB 1.4.4 से काल्पनिक विभाजन और min/max तुलना की गणना करती है. सामान्य रन के बाद यह अस्थायी टेबल हटा देती है. समेकित नतीजों में कोई टास्क लेबल, अलग-अलग एपिसोड ID या प्रति-एपिसोड आँकड़े नहीं रखे जाते. स्रोत-जाँच बंडल में एक स्क्रिप्ट है जो अपस्ट्रीम कोड चलाए बिना तय संस्करण की चुनी गई स्रोत संरचनाओं की पुष्टि करती है; इसमें अपस्ट्रीम लाइसेंस और श्रेय भी शामिल हैं. चित्र जनरेटर समेकित आँकड़ों से दोनों आरेख दोबारा बनाता है. किसी रिकॉर्डिंग, रॉ फ़्रेम, मॉडल, ट्रेनिंग या बेंचमार्क जॉब का उपयोग नहीं किया गया.

Python 3.11 और DuckDB 1.4.4 के साथ macOS या Linux पर इसे दोहराने के लिए:

python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py

डेटासेट के तय संस्करण वाले कार्ड में उसे Apache-2.0 लेबल दिया गया है; उस लेबल से हर मूल एसेट के अधिकार तय नहीं हो जाते. स्रोत-जाँच स्क्रिप्ट LeRobot के छोटे एक्सप्रेशन का संदर्भ देती है; उसका तय संस्करण वाला लाइसेंस और कॉपीराइट श्रेय जाँच बंडल में शामिल हैं. sapien1 अपने मूल स्क्रिप्ट योगदान डाउनलोड और स्थानीय रूप से चलाने के लिए उपलब्ध कराता है; उन योगदानों को बदलने या दोबारा वितरित करने के लिए कोई अतिरिक्त लाइसेंस नहीं बताया गया है. स्रोत डेटासेट और अपस्ट्रीम कोड की शर्तें अलग हैं.