งานวิจัย
การกันชุดเอพิโซด LeRobot ไว้ประเมินอาจใช้สถิติการทำ normalization ที่ครอบคลุมข้อมูลกว้างกว่า
ทีมสามารถแยกเอพิโซดของหุ่นยนต์ไว้สำหรับประเมิน แต่ยังใช้สถิติ preprocessing ที่ครอบคลุมข้อมูลนอกเหนือจากเอพิโซดฝึกได้ เราตรวจสอบเส้นทางการฝึกหนึ่งของ LeRobot และตรวจดู snapshot ของ metadata สาธารณะ ในตัวอย่างสมมติที่แบ่งเป็น 40 เอพิโซดฝึกและ 10 เอพิโซดประเมิน ช่วง state และ action ที่บันทึกไว้ต่างก็กว้างกว่าช่วงของเอพิโซดฝึกใน 3 จาก 6 มิติ นี่เป็นการเปรียบเทียบ metadata ที่บันทึกไว้ ไม่ใช่การสังเกตการฝึกจริงหรือผลด้านประสิทธิภาพของโมเดล ตัวอย่างนี้แสดงให้เห็นว่าในการตรวจทานชุดที่กันไว้ควรพิจารณาทั้งสถิติที่ส่งให้ processor และรายการเอพิโซด
การแบ่งชุดและสถิติเป็นคนละการตัดสินใจ
ที่ LeRobot คอมมิต 7910c20 ค่า eval_split ที่กำหนดไว้จะจัดกลุ่มเอพิโซดที่เลือกตามงานแรกที่ระบุในแต่ละเอพิโซด แล้วกำหนด ceil(group size × eval_split) เอพิโซดสุดท้ายของแต่ละกลุ่มให้ใช้ประเมิน การตั้งค่าเริ่มต้น ไม่มีการแบ่งชุดประเมิน ส่วนตัวอย่างด้านล่างตั้งค่าให้มีโดยตั้งใจ โค้ดสร้างออบเจ็กต์ชุดข้อมูลฝึกและประเมินแยกกันโดยใช้รายการเอพิโซด แต่ใช้ root และ revision ของชุดข้อมูลเดียวกัน
ตัวโหลด metadata ของชุดข้อมูล โหลด meta/stats.json แยกต่างหาก ในเส้นทางการฝึกที่ตรวจสอบ Diffusion policy ใหม่ที่ไม่ได้กลับมาฝึกต่อและไม่มี path ของ processor ที่ฝึกไว้ล่วงหน้า จะได้รับสถิติจาก metadata ของชุดข้อมูลเมื่อสร้าง processor การตั้งค่า Diffusion เริ่มต้นใช้ min-max normalization สำหรับ state และ action การตรวจสอบซอร์สนี้จำกัดอยู่ที่การตั้งค่าและเวอร์ชันดังกล่าว policy อื่น การตั้งค่าทับ processor ที่ฝึกไว้ล่วงหน้าหรือกลับมาฝึกต่อ รูปแบบและเวอร์ชันอื่นอาจแตกต่างกัน
เราไม่ได้เรียกใช้ตัวโหลดชุดข้อมูลหรือ policy แผนภาพอธิบายเส้นทางในซอร์สที่ตรวจสอบภายใต้เงื่อนไขที่ระบุ ไม่ใช่บันทึกการรันจริง
ตัวอย่าง metadata หนึ่งชุด
snapshot ของ lerobot/svla_so101_pickplace สาธารณะที่ revision f641879 ระบุว่ามี 50 เอพิโซดและ 11,939 เฟรม ระเบียนเอพิโซดทั้ง 50 รายการใช้คีย์จัดกลุ่มตามงานแรกเดียวกัน หากไม่มีเอพิโซดที่เลือกไว้ล่วงหน้าหรือถูกตัดออก และกำหนด eval_split=0.2 กฎที่ตรวจสอบจะจัด 40 เอพิโซดให้ฝึกและ 10 เอพิโซดให้ประเมิน โดยสรุปของเอพิโซดระบุจำนวนเฟรมไว้ 9,180 และ 2,759 เฟรมตามลำดับ
สถิติ observation.state และ action ที่บันทึกไว้แต่ละรายการระบุ count เท่ากับ 11,939 อาร์เรย์ min/max ของทั้งสองตรงกับค่ารวมจากสรุปทั้ง 50 เอพิโซดภายในค่าความคลาดเคลื่อนสัมบูรณ์และสัมพัทธ์ 1e-6 เมื่อเทียบโดยตรงกับค่าต่ำสุดและสูงสุดที่รวมจากเอพิโซดฝึกสมมติ 40 เอพิโซด ช่วงที่บันทึกไว้ขยายออกไปไกลกว่าใน 3 จาก 6 มิติของแต่ละ feature จำนวนนี้ไม่เปลี่ยนเมื่อกำหนดให้ความต่างต้องเกินเกณฑ์ math.isclose ที่ใช้ค่าความคลาดเคลื่อนสัมพัทธ์และสัมบูรณ์ 1e-6
| คุณลักษณะ | มิติที่ช่วงที่บันทึกไว้ขยายเกินช่วงของเอพิโซดฝึก | ช่วงเอพิโซดฝึกที่แคบที่สุดเทียบกับช่วงที่บันทึกไว้ |
|---|---|---|
observation.state | 3 จาก 6 | 84.3% |
action | 3 จาก 6 | 84.2% |
แต่ละเปอร์เซ็นต์คืออัตราส่วนความกว้างช่วงที่ต่ำที่สุดใน 6 มิติของ feature นั้น ทั้งสองแถวไม่จำเป็นต้องเป็นมิติเดียวกัน แท่งเปรียบเทียบความกว้าง ไม่ใช่ตำแหน่งเริ่มต้นหรือสิ้นสุดของช่วง การคำนวณสำหรับ 40 เอพิโซดรวมทุกเฟรมที่ระบุไว้สำหรับเอพิโซดเหล่านั้น sampler ที่ใช้จริงอาจตัดเฟรมท้ายออก สุ่ม window หรือใช้กฎการเลือกอื่น จึงไม่ใช่การวัดตำแหน่งข้อมูลที่ optimizer ใช้จริง
สรุปของเอพิโซดที่กันไว้ยังทำให้ค่ารวมของทุกเอพิโซดขยายเกินค่ารวมของ 40 เอพิโซดฝึกใน 3 มิติของแต่ละ feature สถิติที่บันทึกไว้ตรงกับค่ารวมของทุกเอพิโซดภายในค่าความคลาดเคลื่อนที่ระบุ แต่เราไม่ได้ยืนยันแยกต่างหากว่าไฟล์ที่บันทึกไว้สร้างขึ้นอย่างไรหรือตรวจสอบไฟล์เฟรมต้นทาง หากส่งช่วงที่บันทึกไว้เหล่านั้นให้ min-max processor ใหม่ตามที่อธิบายข้างต้น ขอบเขตที่กว้างกว่าอาจเปลี่ยนสเกลของ processor ได้ ตัวอย่างนี้ไม่ได้แสดงว่า job ที่เคยรันโหลดอะไร ชุดข้อมูลเหมาะกับ policy หรือไม่ หรือคะแนนเปลี่ยนไปหรือไม่
ตรวจสอบขอบเขตของการคำนวณใหม่
แนวทางที่คุ้นเคยคือปรับ preprocessing ที่ขึ้นอยู่กับข้อมูลให้เข้ากับชุดฝึก แล้วใช้การแปลงที่ได้กับข้อมูลประเมินอย่างสอดคล้องกัน คำอธิบายของ Scikit-learn เรื่อง data leakage อธิบายหลักการทั่วไป ส่วน issue ของ LeRobot ก่อนหน้านี้ได้ตั้งข้อกังวลเกี่ยวกับสถิติรวมและการตรวจสอบความถูกต้องเช่นกัน แต่การตรวจสอบของเราไม่ได้ยืนยันพฤติกรรมหุ่นยนต์ที่รายงานใน issue หรือวินิจฉัยสาเหตุ การ์ดชุดข้อมูล SO-101 อีกชุดหนึ่งแยกสถิติเฉพาะชุดฝึกออกจาก metadata ของทั้งชุดข้อมูลอยู่แล้วสำหรับการประเมินแบบควบคุม เราไม่ได้ตรวจสอบจำนวนหรือไฟล์ของชุดข้อมูลนั้น
ตรวจสอบเส้นทางการคำนวณใหม่อย่างละเอียดเช่นเดียวกับการแบ่งชุด ในเวอร์ชันที่ระบุ revision ฟังก์ชันช่วย recompute_stats ใช้เส้นทางข้อมูลตัวเลขเป็นค่าเริ่มต้น โดยสแกนไฟล์ Parquet ภายใต้ root ของชุดข้อมูลและวนผ่านดัชนีเอพิโซดโดยไม่มีตัวกรอง dataset.episodes โดยตรง หากไฟล์เหล่านั้นยังมีข้อมูลทั้งสองส่วน การส่งออบเจ็กต์ที่เลือกเอพิโซดแล้วเพียงอย่างเดียวไม่ได้ยืนยันว่าสถิติตัวเลขมาจากชุดฝึกเท่านั้น ฟังก์ชันนี้จะเขียนสถิติลงใน root นั้นและเก็บสถิติเดิมของ feature ที่ไม่ได้คำนวณใหม่ไว้ โดยค่าเริ่มต้นจะข้าม feature รูปภาพและวิดีโอ เราไม่ได้เรียกใช้ฟังก์ชันนี้ หรือแก้ไขชุดข้อมูล docstring ของฟังก์ชันนี้ ระบุอยู่แล้วว่าวนผ่านทุกเอพิโซด และคู่มือ dataset-tools อธิบายการคำนวณใหม่
ก่อนถือว่าผลจากชุดที่กันไว้เป็นอิสระ ให้บันทึก ID ของเอพิโซดที่เลือก revision ของชุดข้อมูล ที่มาและขอบเขต feature ของสถิติแต่ละรายการ รวมถึงการตั้งค่า processor ที่ใช้จริง ตรวจสอบว่าการคำนวณที่เสนอให้ใช้เฉพาะชุดฝึกอ่านแถวที่ต้องการ และใช้การแปลงที่ได้จากชุดฝึกซึ่งเหมาะสมซ้ำสำหรับการประเมิน ตรวจสอบ feature รูปภาพ วิดีโอ และ relative-action แยกต่างหาก เนื่องจากอาจใช้เส้นทางต่างกัน processor ที่ฝึกไว้ล่วงหน้าหรือกลับมาฝึกต่ออาจมีสถิติที่บันทึกไว้ของตนเอง จึงควรตรวจสอบ checkpoint และการตั้งค่าทับที่ใช้จริง แทนการสมมติว่าจะมีพฤติกรรมเหมือนตัวอย่างนี้
วิธีตรวจสอบ
เราอ่านซอร์สที่ระบุ revision โดยไม่ import หรือรัน LeRobot สคริปต์วิเคราะห์ ของเราตรวจสอบแฮชของซอร์ส ดาวน์โหลดตาราง metadata ขนาดเล็กชั่วคราว และคำนวณการแบ่งสมมติรวมถึงการเปรียบเทียบ min/max ด้วย DuckDB 1.4.4 โดยจะลบตารางชั่วคราวหลังการรันตามปกติ ผลรวม ไม่เก็บป้ายกำกับงาน ID ของแต่ละเอพิโซด หรือสถิติรายเอพิโซด ชุดเครื่องมือตรวจสอบซอร์ส มีสคริปต์สำหรับตรวจสอบโครงสร้างซอร์สที่ระบุ revision บางส่วนโดยไม่รันโค้ดต้นทาง พร้อมใบอนุญาตและข้อความระบุที่มาของต้นทาง เครื่องมือสร้างภาพประกอบ สร้างแผนภาพทั้งสองซ้ำจากผลรวม โดยไม่ได้ใช้ข้อมูลบันทึก เฟรมดิบ โมเดล งานฝึก หรืองาน benchmark
วิธีทำซ้ำบน macOS หรือ Linux ด้วย Python 3.11 และ DuckDB 1.4.4:
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.pyการ์ดชุดข้อมูลที่ระบุ revision ระบุป้ายกำกับ Apache-2.0 แต่ป้ายกำกับนี้ไม่ได้ยืนยันสิทธิ์สำหรับสินทรัพย์ต้นทางทุกรายการ เครื่องมือตรวจสอบซอร์สอ้างอิงนิพจน์สั้น ๆ จาก LeRobot โดยมีใบอนุญาตที่ระบุ revision และข้อความระบุลิขสิทธิ์รวมอยู่ในชุดเครื่องมือตรวจสอบ sapien1 เปิดให้ดาวน์โหลดและรันส่วนสคริปต์ที่สร้างขึ้นเองในเครื่อง โดยไม่ได้ระบุใบอนุญาตเพิ่มเติมสำหรับการแก้ไขหรือเผยแพร่ส่วนดังกล่าวต่อ ข้อกำหนดของชุดข้อมูลต้นทางและโค้ดต้นทางแยกจากกัน