Langkau ke kandungan utama

Menu

Penyelidikan

Pegangan keluar episod LeRobot boleh menggunakan statistik penormalan yang lebih luas

Bahasa: Bahasa Melayu

Satu pasukan boleh mengasingkan episod robot untuk penilaian dan masih menggunakan statistik prapemprosesan yang skopnya melangkaui episod latihan. Kami menelusuri satu laluan latihan LeRobot dan menyemak satu syot kilat metadata awam. Dalam pembahagian hipotesis 40 episod latihan dan 10 episod penilaian, julat keadaan dan tindakan yang disimpan masing-masing melangkaui julat episod latihan dalam tiga daripada enam dimensi. Ini ialah perbandingan metadata yang disimpan, bukan pelaksanaan latihan yang diperhatikan atau hasil prestasi model. Contoh ini menunjukkan mengapa semakan pegangan keluar perlu merangkumi statistik yang dibekalkan kepada pemproses serta senarai episod.

Pembahagian dan statistik ialah keputusan yang berasingan

Pada komit LeRobot 7910c20, eval_split yang dikonfigurasi mengumpulkan episod terpilih mengikut tugas pertama yang disenaraikan bagi setiap episod dan memperuntukkan ceil(group size × eval_split) episod terakhir daripada setiap kumpulan untuk penilaian. Konfigurasi lalai tidak mempunyai pembahagian penilaian; contoh di bawah sengaja menetapkannya. Kod tersebut membina objek set data latihan dan penilaian yang berasingan menggunakan senarai episod, akar set data yang sama dan revisi yang sama.

Pemuat metadata set data memuatkan meta/stats.json secara berasingan. Dalam laluan latihan yang diperiksa, dasar Diffusion baharu yang tidak disambung semula dan tiada laluan pemproses pralatih menerima statistik metadata set data apabila pemprosesnya dibina. Konfigurasi Diffusion lalai menggunakan penormalan min-maks untuk keadaan dan tindakan. Jejak sumber ini khusus untuk konfigurasi dan versi tersebut; dasar lain, penggantian tetapan, pemproses pralatih atau yang disambung semula, format dan versi boleh berbeza.

Pembahagian episod terpilih dan laluan statistik disimpan yang berasingan ke penormal Diffusion baharu
Lihat rajah dalam saiz penuh

Kami tidak melaksanakan pemuat set data atau dasar. Rajah ini menerangkan laluan sumber yang diperiksa di bawah syarat yang dinyatakan, bukan rekod pelaksanaan sebenar.

Satu contoh metadata

Syot kilat awam lerobot/svla_so101_pickplace pada revisi f641879 menerangkan 50 episod dan 11,939 bingkai. Kesemua 50 rekod episod berkongsi kunci pengelompokan tugas pertama yang sama. Jika tiada episod dipilih lebih awal atau dikecualikan dan eval_split=0.2, peraturan yang diperiksa akan memperuntukkan 40 episod untuk latihan dan 10 untuk penilaian. Ringkasan episod masing-masing menyatakan 9,180 dan 2,759 bingkai.

Statistik observation.state dan action yang disimpan masing-masing melaporkan kiraan 11,939. Tatasusunan min/maksnya sepadan dengan agregat semua 50 ringkasan episod dalam toleransi mutlak dan relatif 1e-6. Apabila dibandingkan secara langsung dengan nilai ekstrem yang diagregatkan daripada 40 episod latihan hipotesis, julat yang disimpan melangkaui julat tersebut dalam tiga daripada enam dimensi bagi setiap ciri. Kiraan ini tidak berubah apabila perbezaan yang melebihi math.isclose dengan toleransi relatif dan mutlak 1e-6 diperlukan.

CiriDimensi dengan julat disimpan yang melangkaui julat episod latihanJulat episod latihan paling sempit sebagai bahagian daripada julat disimpan
observation.state3 daripada 684.3%
action3 daripada 684.2%
Julat episod latihan paling sempit berbanding julat disimpan: 84.3% untuk keadaan dan 84.2% untuk tindakan
Lihat rajah dalam saiz penuh

Setiap peratusan ialah nisbah lebar julat terkecil antara enam dimensi ciri tersebut; kedua-dua baris tidak semestinya menerangkan dimensi yang sama. Bar membandingkan lebar, bukan tempat julat bermula atau berakhir. Pengiraan 40 episod merangkumi semua bingkai yang dinyatakan untuk episod tersebut. Pensampel sebenar mungkin menggugurkan bingkai hujung, mengambil sampel tetingkap atau menggunakan peraturan pemilihan lain, jadi ini bukan ukuran kedudukan yang digunakan oleh pengoptimum sebenar.

Ringkasan episod pegangan keluar juga meluaskan agregat semua episod melangkaui agregat 40 episod latihan dalam tiga dimensi bagi setiap ciri. Statistik yang disimpan sepadan dengan agregat semua episod dalam toleransi yang dinyatakan, tetapi kami tidak menentukan secara bebas cara fail yang disimpan itu dihasilkan atau mengesahkan fail bingkai asas. Jika julat yang disimpan itu dibekalkan kepada pemproses min-maks baharu yang diterangkan di atas, sempadan yang lebih luas boleh mengubah skalanya. Contoh ini tidak menunjukkan apa yang dimuatkan oleh mana-mana kerja terdahulu, sama ada sesuatu set data sesuai untuk sesuatu dasar atau sama ada skor berubah.

Semak skop pengiraan semula

Panduan lazim ialah menyesuaikan prapemprosesan yang bergantung pada data dengan set latihan dan menerapkan transformasi yang terhasil secara konsisten pada data penilaian. Perbincangan Scikit-learn tentang kebocoran data menerangkan prinsip umum tersebut. Satu isu LeRobot terdahulu juga membangkitkan kebimbangan tentang statistik global dan pengesahan; semakan kami tidak mengesahkan tingkah laku robot yang dilaporkan dalam isu itu atau mendiagnosis puncanya. Satu kad set data SO-101 yang lain telah pun membezakan statistik latihan sahaja daripada metadata keseluruhan set data untuk penilaian terkawal. Kami tidak menyemak kiraan atau fail set data itu sendiri.

Periksa laluan pengiraan semula seteliti pembahagian. Dalam versi yang dipinkan, fungsi pembantu recompute_stats secara lalai menggunakan laluan data berangka yang mengimbas fail Parquet di bawah akar set data dan mengulangi indeks episodnya tanpa penapis dataset.episodes secara langsung. Jika fail tersebut masih mengandungi kedua-dua partition, menyerahkan objek yang episodnya telah dipilih sahaja tidak membuktikan bahawa statistik berangka itu terhad kepada latihan. Fungsi pembantu ini menulis statistik ke akar tersebut dan mengekalkan statistik sedia ada untuk ciri yang tidak dikira semula; secara lalai ia melangkau ciri imej/video. Kami tidak menjalankan fungsi pembantu itu atau mengubah set data. Docstringnya telah menyatakan bahawa ia mengulangi semua episod, dan panduan alat set data menerangkan operasi pengiraan semula tersebut.

Sebelum menganggap hasil pegangan keluar sebagai bebas, rekodkan ID episod yang dipilih, revisi set data, asal dan skop ciri bagi setiap statistik, serta konfigurasi pemproses yang benar-benar digunakan. Sahkan bahawa pengiraan yang dicadangkan untuk latihan sahaja membaca baris yang dimaksudkan, dan gunakan semula transformasi sesuai yang diperoleh daripada latihan untuk penilaian. Semak secara berasingan ciri imej, video dan tindakan relatif, yang mungkin mengikuti laluan berbeza. Pemproses pralatih atau yang disambung semula mungkin mempunyai statistik tersimpannya sendiri, jadi periksa titik semak dan penggantian tetapan sebenar tanpa menganggap tingkah lakunya sama seperti contoh ini.

Cara kami menyemak

Kami membaca sumber yang dipinkan tanpa mengimport atau menjalankan LeRobot. Skrip analisis kami mengesahkan cincangan sumber, memuat turun jadual metadata kecil buat sementara, dan mengira pembahagian hipotesis serta perbandingan min/maks dengan DuckDB 1.4.4. Skrip itu membuang jadual sementara selepas pelaksanaan biasa. Hasil agregat tidak menyimpan label tugas, ID episod individu atau statistik setiap episod. Himpunan penyemak sumber mengandungi skrip yang mengesahkan struktur sumber terpilih yang dipinkan tanpa menjalankan kod huluan, bersama lesen dan atribusi huluan. Penjana rajah menghasilkan semula kedua-dua rajah daripada agregat. Tiada rakaman, bingkai mentah, model, kerja latihan atau kerja penanda aras digunakan.

Untuk menghasilkan semula pada macOS atau Linux dengan Python 3.11 dan DuckDB 1.4.4:

python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py

Kad yang dipinkan bagi set data itu melabelkannya Apache-2.0; label itu tidak menentukan hak bagi setiap aset asas. Penyemak sumber merujuk ungkapan pendek daripada LeRobot; lesen yang dipinkan dan atribusi hak ciptanya disertakan dalam himpunan penyemak. sapien1 menawarkan sumbangan skrip asalnya untuk dimuat turun dan dilaksanakan secara setempat; tiada lesen tambahan dinyatakan untuk mengubah suai atau mengedarkan semula sumbangan tersebut. Terma set data sumber dan kod huluan adalah berasingan.