Cercetare
Un set de episoade LeRobot rezervat evaluării poate folosi statistici de normalizare cu acoperire mai largă
O echipă poate separa episoadele robotului pentru evaluare și poate folosi în continuare statistici de preprocesare care includ și alte date decât episoadele de antrenare. Am urmărit un traseu de antrenare LeRobot și am verificat un instantaneu public de metadate. Într-o împărțire ipotetică în 40 de episoade de antrenare și 10 de evaluare, intervalele salvate pentru stare și acțiune le depășesc fiecare pe cele ale episoadelor de antrenare în trei din șase dimensiuni. Aceasta este o comparație a metadatelor salvate, nu o rulare de antrenare observată sau un rezultat privind performanța modelului. Exemplul arată de ce analiza unui set rezervat evaluării ar trebui să includă atât statisticile furnizate procesorului, cât și lista episoadelor.
Împărțirea și statisticile sunt decizii separate
La commitul LeRobot 7910c20, un eval_split configurat grupează episoadele selectate după prima lor sarcină din listă și atribuie evaluării ultimele ceil(group size × eval_split) episoade din fiecare grup. Configurația implicită nu prevede o împărțire pentru evaluare; exemplul de mai jos configurează în mod deliberat una. Codul construiește obiecte separate pentru seturile de date de antrenare și de evaluare, folosind liste de episoade, aceeași rădăcină a setului de date și aceeași revizie.
Încărcătorul de metadate al setului de date încarcă separat meta/stats.json. În traseul de antrenare analizat, o politică Diffusion nouă, nereluată, fără o cale către un procesor preantrenat, primește statisticile din metadatele setului de date la construirea procesoarelor sale. Configurația Diffusion implicită folosește normalizarea min-max pentru stare și acțiune. Analiza codului sursă se limitează la această configurație și versiune; alte politici, suprascrieri, procesoare preantrenate sau reluate, formate și versiuni pot funcționa diferit.
Nu am executat încărcătorul setului de date sau o politică. Diagrama descrie traseul analizat în codul sursă, în condițiile menționate, și nu este o înregistrare a unei rulări reale.
Un exemplu de metadate
Instantaneul public lerobot/svla_so101_pickplace la revizia f641879 descrie 50 de episoade și 11.939 de cadre. Toate cele 50 de înregistrări ale episoadelor au aceeași cheie de grupare după prima sarcină. Dacă nu sunt preselectate sau excluse episoade și eval_split=0.2, regula analizată ar atribui 40 de episoade antrenării și 10 evaluării. Rezumatele episoadelor indică 9.180, respectiv 2.759 de cadre.
Statisticile salvate pentru observation.state și action raportează fiecare un număr de 11.939. Tablourile lor min/max corespund agregatului rezumatelor tuturor celor 50 de episoade, în limitele unei toleranțe absolute și relative de 1e-6. Comparate direct cu extremele agregate din cele 40 de episoade ipotetice de antrenare, intervalele salvate se extind mai mult în trei din șase dimensiuni pentru fiecare caracteristică. Numărul rămâne același când se cere ca diferența să depășească toleranțele relative și absolute de 1e-6 ale math.isclose.
| Caracteristică | Dimensiuni în care intervalul salvat îl depășește pe cel al episoadelor de antrenare | Cel mai îngust interval al episoadelor de antrenare ca proporție din intervalul salvat |
|---|---|---|
observation.state | 3 din 6 | 84,3% |
action | 3 din 6 | 84,2% |
Fiecare procent este cel mai mic raport al lățimilor intervalelor dintre cele șase dimensiuni ale caracteristicii respective; cele două rânduri nu descriu neapărat aceeași dimensiune. Barele compară lățimile, nu locul unde încep sau se termină intervalele. Calculul pentru cele 40 de episoade include toate cadrele declarate pentru acestea. Un eșantionator real poate elimina cadre de la sfârșit, poate eșantiona ferestre sau poate folosi alte reguli de selecție, astfel că acesta nu măsoară pozițiile folosite de un optimizator real.
Rezumatele episoadelor rezervate evaluării extind și ele agregatul tuturor episoadelor dincolo de agregatul celor 40 de episoade de antrenare, în trei dimensiuni pentru fiecare caracteristică. Statisticile salvate corespund agregatului tuturor episoadelor în limitele toleranței menționate, dar nu am stabilit independent cum a fost produs fișierul salvat și nu am verificat fișierele de cadre subiacente. Dacă aceste intervale salvate sunt furnizate procesorului min-max nou descris mai sus, limitele mai largi îi pot schimba scara. Exemplul nu arată ce a încărcat vreo execuție anterioară, dacă un set de date este potrivit pentru o politică sau dacă un scor s-a schimbat.
Verifică acoperirea unei recalculări
Recomandarea cunoscută este să ajustezi preprocesarea dependentă de date pe setul de antrenare și să aplici consecvent transformarea rezultată datelor de evaluare. Discuția Scikit-learn despre scurgerea de date explică principiul general. O sesizare LeRobot anterioară a ridicat, de asemenea, probleme legate de statisticile globale și validare; verificarea noastră nu confirmă comportamentul robotului raportat în sesizare și nu îi stabilește cauza. O altă fișă de set de date SO-101 distinge deja statisticile calculate doar pe setul de antrenare de metadatele întregului set de date, pentru o evaluare controlată. Nu am verificat numerele sau fișierele acelui set de date.
Analizează traseul recalculării la fel de atent ca împărțirea. În versiunea fixată, funcția auxiliară recompute_stats folosește implicit un traseu pentru date numerice care parcurge fișierele Parquet din rădăcina setului de date și iterează prin indicii episoadelor lor fără un filtru direct dataset.episodes. Dacă acele fișiere conțin în continuare ambele partiții, simpla transmitere a unui obiect cu episoade selectate nu garantează statistici numerice calculate doar pe setul de antrenare. Funcția scrie statisticile în acea rădăcină și păstrează statisticile existente pentru caracteristicile pe care nu le recalculează; implicit, omite caracteristicile imagine/video. Nu am rulat funcția și nu am modificat vreun set de date. Șirul său de documentare precizează deja că aceasta iterează prin toate episoadele, iar ghidul instrumentelor pentru seturi de date descrie operația de recalculare.
Înainte să consideri independent un rezultat obținut pe setul rezervat evaluării, înregistrează ID-urile episoadelor selectate, revizia setului de date, originea și caracteristicile acoperite de fiecare statistică, precum și configurația procesorului folosit efectiv. Verifică dacă un calcul propus doar pentru antrenare citește rândurile dorite și refolosește pentru evaluare transformarea corespunzătoare derivată din datele de antrenare. Verifică separat caracteristicile de imagine, video și acțiune relativă, care pot urma trasee diferite. Un procesor preantrenat sau reluat poate avea propriile statistici salvate, așa că analizează punctul de control și suprascrierile efective, în loc să presupui că se aplică acest exemplu.
Cum am verificat
Am citit codul sursă fixat fără să importăm sau să rulăm LeRobot. Scriptul nostru de analiză verifică hashurile sursei, descarcă temporar tabelul mic de metadate și calculează împărțirea ipotetică și comparațiile min/max cu DuckDB 1.4.4. Acesta elimină tabelul temporar după o rulare normală. Rezultatele agregate nu păstrează etichete ale sarcinilor, ID-uri individuale ale episoadelor sau statistici pentru fiecare episod. Pachetul de verificare a sursei conține un script care verifică anumite structuri ale sursei fixate fără să ruleze codul original, precum și licența și atribuirea aferente acestuia. Generatorul de figuri reproduce cele două diagrame din datele agregate. Nu au fost folosite înregistrări, cadre brute, modele sau execuții de antrenare ori de evaluare comparativă.
Pentru a reproduce analiza pe macOS sau Linux cu Python 3.11 și DuckDB 1.4.4:
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.pyFișa fixată a setului de date îl etichetează Apache-2.0; această etichetă nu stabilește drepturile asupra fiecărui material subiacent. Instrumentul de verificare a sursei face referire la expresii scurte din LeRobot; licența fixată și atribuirea drepturilor de autor aferente sunt incluse în pachetul de verificare. sapien1 oferă contribuțiile sale originale la script pentru descărcare și execuție locală; nu este precizată nicio licență suplimentară pentru modificarea sau redistribuirea acestor contribuții. Termenii setului de date sursă și cei ai codului original sunt separați.