研究
LeRobotのエピソード分割では、正規化統計の対象が広がることがあります
ロボットのエピソードを評価用に分離しても、前処理の統計が学習用エピソード以外のデータまで対象にすることがあります。LeRobotの学習経路を1つ追跡し、公開メタデータのスナップショットを確認しました。学習用40エピソード、評価用10エピソードに分ける仮定では、保存済みの状態とアクションの範囲は、それぞれ6次元中3次元で学習用エピソードの範囲を超えています。これは保存済みメタデータの比較であり、実際の学習実行やモデル性能の結果ではありません。この例は、ホールドアウトのレビューでエピソードの一覧に加え、プロセッサに渡される統計も確認すべき理由を示しています。
分割と統計は別々に決まります
LeRobotコミット7910c20では、eval_splitを設定すると、選択されたエピソードをそれぞれ最初に記載されたタスクでグループ化し、各グループの末尾からceil(group size × eval_split)件を評価用に割り当てます。デフォルト設定には評価用の分割はありません。以下の例では意図的に設定しています。コードはエピソードの一覧を使い、同じデータセットルートとリビジョンを参照する学習用と評価用のデータセットオブジェクトを別々に作成します。
データセットのメタデータローダーは、これとは別にmeta/stats.jsonを読み込みます。調査した学習経路では、事前学習済みプロセッサのパスが指定されておらず、再開によるものでもない新規のDiffusionポリシーに対し、プロセッサの構築時にデータセットのメタデータ統計が渡されます。デフォルトのDiffusion設定では、状態とアクションにmin-max正規化を使います。このソース追跡はその設定とバージョンに固有のものです。他のポリシーや上書き設定、事前学習済みまたは再開されたプロセッサ、形式、バージョンでは異なる場合があります。
データセットローダーやポリシーは実行していません。この図は、記載した条件下で調査したソース経路を示すもので、実際の実行記録ではありません。
メタデータの一例
公開されているリビジョンf641879のlerobot/svla_so101_pickplaceスナップショットには、50エピソードと11,939フレームが記載されています。50件すべてのエピソード記録は、最初のタスクによるグループ化キーが共通です。エピソードが事前に選択・除外されておらず、eval_split=0.2の場合、調査したルールでは40エピソードが学習用、10エピソードが評価用に割り当てられます。各エピソードのサマリーに記載されたフレーム数は、それぞれ9,180と2,759です。
保存済みのobservation.stateとactionの統計は、いずれも件数を11,939と報告しています。それぞれの最小値・最大値の配列は、50エピソードすべてのサマリーを集約した値と、絶対許容誤差・相対許容誤差1e-6の範囲内で一致します。仮定した学習用40エピソードから集約した最小値・最大値と直接比較すると、保存済みの範囲は各特徴量について6次元中3次元でより広くなっています。相対・絶対許容誤差を1e-6とするmath.iscloseの範囲を超える差だけを数えても、この次元数は変わりません。
| 特徴量 | 保存済み範囲が学習用エピソードの範囲を超える次元数 | 保存済み範囲に対する学習用エピソードの最も狭い範囲の割合 |
|---|---|---|
observation.state | 6次元中3次元 | 84.3% |
action | 6次元中3次元 | 84.2% |
各割合は、その特徴量の6次元のうち最小の範囲幅の比率です。2つの行は同じ次元を示しているとは限りません。棒は幅を比較しており、範囲の始点や終点は示していません。40エピソードの計算には、それらのエピソードに記載されたすべてのフレームが含まれます。実際のサンプラーは末尾のフレームを除外したり、ウィンドウをサンプリングしたり、別の選択ルールを使ったりする場合があるため、これは実際のオプティマイザーが使用した位置を測定したものではありません。
ホールドアウト用エピソードのサマリーも、各特徴量について3次元で、全エピソードの集約範囲を学習用40エピソードの集約範囲より広げています。保存済み統計は、記載した許容誤差の範囲内で全エピソードの集約値と一致しますが、保存済みファイルの作成方法は独立に特定しておらず、元のフレームファイルも検証していません。これらの保存済み範囲が前述の新規min-maxプロセッサに渡される場合、より広い境界値によってスケールが変わる可能性があります。この例は、過去のジョブが何を読み込んだか、データセットがポリシーに適しているか、スコアが変化したかを示すものではありません。
再計算の対象範囲を確認する
一般的には、データに依存する前処理を学習セットで適合させ、得られた変換を評価データにも一貫して適用することが推奨されます。Scikit-learnのデータリークに関する解説では、この一般原則が説明されています。以前のLeRobotのissueでも、全体の統計と検証に関する懸念が提起されていますが、今回の確認は、そこで報告されたロボットの挙動を検証したり、原因を診断したりするものではありません。別のSO-101データセットカードでは、制御された評価のために、学習用データのみの統計とデータセット全体のメタデータがすでに区別されています。このデータセット自体の件数やファイルは確認していません。
分割と同じくらい注意して、再計算の経路も確認してください。固定したバージョンでは、recompute_statsヘルパーはデフォルトで数値データの経路を使い、データセットルート配下のParquetファイルを走査して、dataset.episodesによる直接のフィルターなしにエピソードインデックスを順に処理します。それらのファイルに両方のパーティションが残っている場合、エピソードを選択したオブジェクトを渡すだけでは、学習用データのみの数値統計になるとは確認できません。このヘルパーは統計をそのルートに書き込み、再計算しない特徴量については既存の統計を保持します。デフォルトでは画像・動画の特徴量をスキップします。ヘルパーの実行やデータセットの変更は行っていません。そのdocstringには、すべてのエピソードを順に処理すると明記されており、dataset-toolsガイドには再計算操作が説明されています。
ホールドアウトの結果を独立したものとして扱う前に、選択したエピソードID、データセットのリビジョン、各統計の由来と対象となる特徴量、実際に使用したプロセッサの設定を記録してください。学習用データのみを対象とする計算が意図した行を読み込むことを確認し、評価には学習データから得た適切な変換を再利用してください。画像、動画、相対アクションの特徴量は異なる経路をたどる場合があるため、個別に確認してください。事前学習済みまたは再開されたプロセッサは独自の保存済み統計を持つ場合があるため、この例と同じ挙動を前提とせず、実際のチェックポイントと上書き設定を確認してください。
確認方法
LeRobotをインポートまたは実行せずに、固定したソースを読みました。分析スクリプトはソースのハッシュを検証し、小さなメタデータテーブルを一時的にダウンロードして、DuckDB 1.4.4で仮定の分割と最小値・最大値の比較を計算します。通常の実行後、一時テーブルは削除されます。集約結果には、タスクラベル、個別のエピソードID、エピソードごとの統計は含まれていません。ソースチェッカーバンドルには、上流のコードを実行せず、固定したソースの指定された構造を検証するスクリプトと、上流のライセンスおよび帰属表示が含まれています。図の生成ツールは、集約結果から2つの図を再現します。記録データ、生のフレーム、モデル、学習ジョブ、ベンチマークジョブは使用していません。
Python 3.11とDuckDB 1.4.4を使い、macOSまたはLinuxで再現するには:
python3.11 -m venv .lerobot-stats-venv
.lerobot-stats-venv/bin/python -m pip install duckdb==1.4.4
.lerobot-stats-venv/bin/python analyze.py > observations-reproduced.json
unzip source-check.zip -d lerobot-source-check
.lerobot-stats-venv/bin/python lerobot-source-check/source-check.pyデータセットの固定されたカードにはApache-2.0と記載されていますが、その記載だけですべての基礎アセットの権利関係が確定するわけではありません。ソースチェッカーはLeRobotの短い式を参照しています。その固定されたライセンスと著作権の帰属表示はチェッカーバンドルに含まれています。sapien1は独自に作成したスクリプトをダウンロードおよびローカル実行用に提供していますが、それらの変更や再配布を許可する追加ライセンスは明記していません。元のデータセットと上流コードの利用条件は別途適用されます。