跳至主要內容

選單

研究

LeRobot 情節留出集可能使用範圍更廣的正規化統計資料

語言: 繁體中文(台灣)

團隊可以將機器人情節分開供評估使用,同時使用涵蓋訓練情節以外資料的前處理統計資料。我們追蹤了一條 LeRobot 訓練路徑,並檢查公開的中繼資料快照。在假設以 40 個情節訓練、10 個情節評估的分割中,儲存的狀態與動作範圍各有六個維度中的三個超出訓練情節的範圍。這是儲存的中繼資料比較,並非觀察到的訓練執行或模型效能結果。此例說明,審查留出集時,除了情節清單,也應檢查提供給處理器的統計資料。

分割方式與統計資料是兩項獨立決策

在 LeRobot 的提交版本 7910c20 中,設定 eval_split 後,系統會依所選情節列出的第一個任務分組,並將每組最後 ceil(group size × eval_split) 個情節分配給評估集。預設設定沒有評估集分割;下例刻意設定了分割。程式碼使用情節清單、相同的資料集根目錄與相同的修訂版本,分別建立訓練與評估資料集物件。

資料集中繼資料載入器會另行載入 meta/stats.json。在檢查的訓練路徑中,全新、非恢復執行且未指定預訓練處理器路徑的 Diffusion policy,會在建立處理器時取得資料集中繼資料的統計資料。預設的 Diffusion 設定對狀態與動作使用最小最大值正規化。這項原始碼追蹤僅適用於該設定與版本;其他 policy、覆寫設定、預訓練或恢復的處理器、格式及版本可能有所不同。

選取的情節分割,以及儲存統計資料通往全新 Diffusion 正規化器的獨立路徑
檢視原尺寸圖片

我們沒有執行資料集載入器或 policy。此圖說明所述條件下檢查的原始碼路徑,並非實際執行紀錄。

一個中繼資料範例

公開的 lerobot/svla_so101_pickplace 修訂版本 f641879 快照記載了 50 個情節與 11,939 個影格。全部 50 筆情節紀錄的第一個任務分組鍵都相同。若沒有預先選取或排除任何情節,且 eval_split=0.2,所檢查的規則會將 40 個情節分配給訓練集,10 個分配給評估集。其情節摘要分別記載 9,180 與 2,759 個影格。

儲存的 observation.state 與 action 統計資料各自回報的計數都是 11,939。其最小值/最大值陣列與全部 50 個情節摘要的彙總結果相符,絕對及相對容許誤差均為 1e-6。與假設的 40 個訓練情節彙總出的極值直接比較時,每個特徵的儲存範圍都有六個維度中的三個更寬。若要求差異超出 math.isclose 的相對與絕對容許誤差 1e-6,維度數量仍不變。

特徵儲存範圍超出訓練情節範圍的維度訓練情節最窄範圍占儲存範圍的比例
observation.state6 個維度中的 3 個84.3%
action6 個維度中的 3 個84.2%
訓練情節最窄範圍相對於儲存範圍的比例:狀態為 84.3%,動作為 84.2%
檢視原尺寸圖片

每個百分比都是該特徵六個維度中的最小範圍寬度比例;兩列不一定代表同一維度。長條比較的是寬度,而非範圍的起點或終點。40 個情節的計算包含這些情節所記載的所有影格。實際的取樣器可能捨棄尾端影格、取樣視窗,或使用其他選取規則,因此這並非對實際最佳化器所用位置的測量。

留出情節的摘要也使每個特徵的全情節彙總範圍,在三個維度上超出 40 個訓練情節的彙總範圍。儲存的統計資料與全情節彙總結果在所述容許誤差內相符,但我們沒有獨立確認儲存檔案的產生方式,也未驗證底層影格檔案。若將這些儲存範圍提供給上述全新的最小最大值處理器,較寬的邊界可能改變其縮放比例。此範例無法顯示任何歷史作業載入了什麼、資料集是否適合某個 policy,或分數是否改變。

檢查重新計算的範圍

常見的建議是以訓練集擬合依賴資料的前處理,並將產生的轉換一致套用至評估資料。Scikit-learn 關於資料洩漏的討論說明了這項一般原則。先前一則 LeRobot 問題回報也提出對全域統計資料與驗證的疑慮;我們的檢查並未驗證該報告描述的機器人行為,也未診斷其原因。另一份 SO-101 資料集卡已針對受控評估區分僅使用訓練資料的統計資料與完整資料集的中繼資料。我們沒有檢查該資料集本身的計數或檔案。

應如同檢查分割方式一樣仔細檢查重新計算的路徑。在固定版本中,recompute_stats 輔助函式預設使用數值資料路徑,掃描資料集根目錄下的 Parquet 檔案並逐一處理其情節索引,而不直接以 dataset.episodes 篩選。若這些檔案仍包含兩個分割區,單獨傳入已選取情節的物件,並不能確立數值統計資料僅使用訓練資料。該輔助函式會將統計資料寫入該根目錄,並保留未重新計算之特徵的現有統計資料;預設會略過影像/影片特徵。我們沒有執行該輔助函式或修改資料集。其文件字串已說明會逐一處理所有情節,資料集工具指南也說明了重新計算操作。

在將留出集結果視為獨立結果之前,請記錄所選情節 ID、資料集修訂版本、各項統計資料的來源與特徵範圍,以及實際使用的處理器設定。確認預計僅使用訓練資料的計算會讀取預期的資料列,並在評估時重用適當的訓練資料衍生轉換。另行檢查影像、影片與相對動作特徵,因為它們可能走不同路徑。預訓練或恢復的處理器可能有自己的儲存統計資料,因此應檢查實際的檢查點與覆寫設定,再判斷其行為。

檢查方式

我們在未匯入或執行 LeRobot 的情況下閱讀固定版本的原始碼。我們的分析指令碼會驗證原始碼雜湊、暫時下載小型中繼資料表,並使用 DuckDB 1.4.4 計算假設的分割與最小值/最大值比較。正常執行後會移除暫存資料表。彙總結果不保留任務標籤、個別情節 ID 或逐情節統計資料。原始碼檢查工具套件包含一份指令碼,可在不執行上游程式碼的情況下驗證所選固定版本的原始碼結構,並附有上游授權與出處標示。圖表產生器可依彙總結果重現兩張示意圖。我們未使用錄製資料、原始影格、模型,也未執行訓練或基準測試作業。

若要在搭載 Python 3.11 與 DuckDB 1.4.4 的 macOS 或 Linux 上重現:

python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.py

該資料集的固定版本資料集卡標示為 Apache-2.0;此標示不能確定每項底層素材的權利狀態。原始碼檢查工具引用了 LeRobot 的簡短程式碼片段;其固定版本的授權與版權出處標示已包含在檢查工具套件中。sapien1 提供其原創指令碼供下載及在本機執行;未聲明額外授權修改或重新散布這些原創內容。來源資料集與上游程式碼各有獨立的使用條款。