DreamDojoは、NVIDIAとUC Berkeley・Stanford・UT Austinなどの研究者が開発した、ロボット向けの汎用ワールドモデルです。ロボットの操作コマンドを入力すると、その結果どう物が動くかを映像として予測します。学習の中心はロボットの遠隔操作データではなく、人が一人称視点で撮った44,711時間の映像です。論文は2026年2月6日にarXivへ投稿され、2月18日にGitHubでコード、Hugging Faceで重みが公開されました。その後ICML 2026に採録され、会議録（PMLR 306）に載った版では一部の数値が書き換わっています。この記事は採録版の論文とリポジトリの実ファイルをもとに、仕組み、改訂された数値、手元で動かすときに詰まる点を順に説明します。
まとめ：DreamDojoの要点
- 44,711時間は学習データ全体の合計です。DreamDojo-HV単体は43,827時間で、EgoDex 829時間とラボ収録55時間が加わります。
- 土台はNVIDIAのCosmos-Predict2.5で、2B版と14B版があります。行動ラベルの無い映像は「連続潜在行動」という共通の表現で学習に使っています。
- arXiv版（v1）とICML採録版で数値が違います。蒸留後の速度は10.81FPSから10.93FPSへ、モデルベースプランニングの改善幅は「+17%・約2倍」から「+5.33ポイント・約13ポイント」へ改訂されました。arXivは2026年11月11日時点でv1のままです。
- ライセンスはコード・重み・データで別々です。コードはApache-2.0、重みはNVIDIA Open Model License、公開データセットはCC BY-NC 4.0（非商用）です。
- Hugging Faceにあるのは2B・14Bの事前学習済み・事後学習済み計10種と潜在行動モデルだけです。10FPS級の蒸留済みモデルは配布されていないため、高速推論には自前の蒸留が必要です。
- 採録版の追加実験では、DreamDojoの事前学習があれば新しいロボット向けの事後学習データが8時間でも精度が落ちにくいことが示されました。
- シミュレータとしての使い道は方策の順位付けです。AgiBotの果物詰め実験で実機との相関はPearson r=0.995でしたが、成功率の絶対値は実機より高く出ます。
DreamDojoの仕組み：人間映像による物理的相互作用の学習
44,711時間の内訳とDreamDojo-HVの規模
「44,000時間」という数字は、単一のデータセットではなく3つのデータ源を混ぜた合計です。採録版の表1によると、新たにクラウドソーシングで集めたDreamDojo-HVが43,827時間、Apple Vision Proで収録された公開データセットEgoDexが829時間、研究チームがラボの卓上環境でグローブとトラッカーを着けて収録したIn-labが55時間です。報道やAI要約には「DreamDojo-HVは44,711時間」と書くものがありますが、これは公開データの分を自社収録分に含めてしまっています。
論文が報告する混合全体の規模は、9,869超のシーン、6,015のタスク、43,237種類の物体です。タスク数には、動画の全体説明をもとにしたGPTによる推定が含まれます。論文は従来の最大規模のデータセットと比べて、時間で15倍、スキル数で96倍、シーン数で2,000倍と報告しています。シーン数の差が特に大きいのは、ロボットで撮る映像はラボに偏り、人が日常で撮る映像には台所も店舗も最初から含まれるためです。
連続潜在行動による行動ラベルの無い映像の学習
人間の映像には、ロボットの関節角度や速度に当たる行動ラベルがありません。DreamDojoは隣り合うフレームの間で何が変わったかを自己教師あり学習でベクトルにし、これを「連続潜在行動（continuous latent actions）」として人間の映像とロボットデータの共通の代わりの行動に使います。これでラベル無しの映像をそのまま事前学習に入れられます。Fourier GR-1・Unitree G1・AgiBot・YAMに合わせるときは、行動を受け取る層の最初の層を初期化し直し、各ロボットの実際の行動を入力して事後学習します。人の映像から運転を学ぶ自動運転側の取り組みとしては、Wayve GAIAとは｜最新GAIA-4とGAIA-3の違い、世代別スペックと評価の限界が近い位置づけです。
Cosmos-Predict2.5を土台にした学習規模
土台にはNVIDIAの映像生成モデルCosmos-Predict2.5を使い、640×480の解像度で学習しています。採録版の付録Bに記された計算資源は次のとおりで、いずれもNVIDIA H100です。後継のCosmos 3とは｜NVIDIAのフィジカルAI向けオムニモデル、Nano・Super・Edgeの違いと動かし方【2026年10月】とは別系統で、DreamDojoのコードは2.5世代を前提に書かれています。
| 工程 | GPU | ステップ数 | バッチサイズ |
|---|---|---|---|
| 事前学習 | H100 256枚 | 140,000 | 1,024 |
| 事後学習（既定） | H100 128枚 | 50,000 | 512 |
| 蒸留 | H100 64枚 | ウォームアップ10,000＋蒸留3,000 | 256 → 64 |
事後学習は「少量データで済む」工程ですが、既定の設定ではH100を128枚使います。データが少ないことと計算が軽いことは別の話です。
arXiv版とICML 2026採録版で変わった数値
DreamDojoの論文は2つの版があります。arXivの2602.06949はv1のままで、ICML 2026の会議録（PMLR 306、33340〜33366ページ）に載った採録版は本文の数値と付録が改訂されています。v1と採録版では数値が異なるため、引用するときはどちらの版に基づく数値かを確認してください。
| 項目 | arXiv v1（2026年2月） | ICML採録版（PMLR 306） |
|---|---|---|
| 蒸留後の生成速度 | 10.81FPS（H100 1枚） | 10.93FPS（H100で計測） |
| プランニング：最良チェックポイント比 | +17% | +5.33ポイント（62.67%→68.00%） |
| プランニング：一様サンプリング比 | 約2倍 | 約13ポイント（55.33%→68.00%） |
| 先行ロボットワールドモデルとの比較 | なし | Ctrl-Worldと比較（付録D.2） |
| 事後学習データ量・失敗データの実験 | なし | 追加（付録D.3・D.4） |
一番大きいのはプランニングの書き換えです。v1は「一様サンプリングに比べて成功率が約2倍」と書いていましたが、採録版の図5では5つのチェックポイントの成功率が34.67%〜62.67%、一様サンプリングが55.33%、DreamDojoを使った計画が68.00%です。改善はありますが、「2倍」と読める幅ではありません。データ量44,711時間、人手選好の勝率、方策評価の相関（r=0.995）は両版で同じです。
性能評価の読み方：何と比べた数字か
先行ロボットワールドモデルCtrl-Worldとの比較
採録版の表5では、DreamDojo-2Bと先行研究のCtrl-Worldを同じ4つの評価セットで比べています。PSNRとSSIM（どちらも高いほど元の映像に近い）は4セットすべてでDreamDojoが上です。たとえば反事実的な行動を与えるCounterfactual Evalでは、PSNRがCtrl-World 19.391に対してDreamDojo 20.907でした。ただし、見た目の近さを測るLPIPS（低いほど良い）はIn-lab・EgoDex・DreamDojo-HVの3セットでCtrl-Worldの方が低く、DreamDojoが勝っているのはCounterfactual Evalだけです。論文はPSNRとSSIMを根拠に「大差で上回る」と書いていますが、指標を1つ変えると結論が割れる点は押さえておくべきです。
人手選好評価の比較相手は土台のCosmos-Predict2.5
分布外の場面で生成映像を2つ並べ、12人のボランティアがどちらが良いかを選んだ評価では、DreamDojo-14Bが土台のCosmos-Predict2.5に対して物理的な正しさ73.50%、行動への追従72.55%の勝率でした。2B版は62.50%と63.45%、14B版と2B版を直接比べると14B版が72.50%と65.53%です。比較相手は自分の土台モデルなので、この数字が示すのは「人の映像での事前学習がどれだけ上積みしたか」です。Gemini Robotics 2とは｜全身制御と提供範囲・検証手順を実装目線で解説【2026年8月】のような、ロボットを直接動かす基盤モデルと比べた結果ではありません。
方策評価とモデルベースプランニング
実務で一番使いやすいのは方策評価です。AgiBotの果物詰めタスクの20場面で、DreamDojoの中で測った成功率と実機の成功率はPearson相関0.995、順位の食い違いを表すMMRVは0.003でした。実機を動かさずに方策の順位を付けられる水準です。一方、付録Aの限界の節は「DreamDojo内の成功率は実機より高く出やすく、細かい失敗をうまく生成できない」と明記しています。この果物詰め実験では順位がよく一致しましたが、他のタスクでの順位の一致や成功率の絶対値は別途検証が必要です。
プランニングは10場面で、5つのチェックポイントが出す行動候補をDreamDojoで先に映像化し、別の価値モデルが一番よい候補を選ぶ方式です。付録D.5では、人の映像による事前学習なしで同じことをすると成功率43%、事前学習ありで70%、一様サンプリングで37%でした。事前学習の効果が後段のタスクまで伝わることを示す結果です。
新しいロボットへの事後学習に必要なデータ量
自社のロボットに合わせて使うとき、最初に気になるのは「何時間の収録が要るか」です。採録版の付録D.4は、GR-1のデータ量を8時間・44時間・88時間に変え、各15,000ステップ事後学習した結果をIn-lab EvalのPSNRで比べています。
| 事後学習データ | DreamDojoの事前学習あり | 事前学習なし（Cosmos-Predict2.5から） |
|---|---|---|
| 8時間 | 21.261 | 18.889 |
| 44時間 | 21.175 | 19.081 |
| 88時間 | 21.109 | 19.074 |
事前学習ありでは8時間でも88時間とほぼ同じ精度で、事前学習なしでは8時間のときに一番低くなります。少量の収録で始めたいなら、Cosmos-Predict2.5から直接ではなくDreamDojoの事前学習済みチェックポイントから事後学習するのが筋です。
もう1つの実験（付録D.3）は失敗データの効き方です。両腕ロボットYAMで、成功デモ35時間だけのモデルと、そこに方策を実際に動かした記録5時間（約6分の5が失敗）を混ぜたモデルを比べました。失敗映像の再現はPSNR 20.656から22.220に上がり、成功映像は21.522から21.547でほぼ変わりません。方策評価に使うつもりなら、成功デモだけでなく失敗した試行も事後学習に入れておくと、上で触れた「成功率が高く出る」問題を抑えられます。
コード・重み・データの入手とライセンス
Hugging Faceの公開物と蒸留済みモデルの扱い
Hugging Faceのnvidia/DreamDojoに置かれているのは次の11点です。モデルの重み（学習済みのパラメータ）は各フォルダのiter_000050000（事前学習はiter_000140000）以下にあり、2026年11月11日にHugging FaceのAPIで測ると、2B_GR1_post-trainはmodelが12.93GB、optimが8.63GB、14B_GR1_post-trainはmodelが89.19GB、optimが59.5GBでした。
| 用途 | 2B | 14B |
|---|---|---|
| 事前学習済み | 2B_pretrain | 14B_pretrain |
| Fourier GR-1向け | 2B_GR1_post-train | 14B_GR1_post-train |
| Unitree G1向け | 2B_G1_post-train | 14B_G1_post-train |
| AgiBot向け | 2B_AgiBot_post-train | 14B_AgiBot_post-train |
| YAM向け | 2B_YAM_post-train | 14B_YAM_post-train |
| 潜在行動モデル | LAM_400k.ckpt（共通） | |
ここに蒸留済みの生徒モデルはありません。蒸留のコードは2026年3月21日にリポジトリへ追加されましたが、重みの配布を求めるIssue #11（2026年4月）は11月11日時点でも開いたままです。公開重みから10FPS級の生徒モデルを用意するには蒸留が必要ですが、論文の実験構成であるH100 64枚が最低要件と示されているわけではありません。公開された重みは35ステップで生成する教師モデルで、論文のGR-1長尺評価では2.72FPSでした（arXiv v1はH100 1枚での計測と記載）。
ライセンスはコード・重み・データで別々
商用利用を考えるなら、最初に確認するのはここです。ソースコードはApache-2.0、重みはNVIDIA Open Model License、事後学習データと評価セットを収めたPhysicalAI-Robotics-GR00T-Teleop-GR1はCC BY-NC 4.0（非商用）です。公開データの商用目的での利用はCC BY-NC 4.0の許諾範囲外ですが、学習済みモデルや評価結果すべての商用利用可否まで一律に決まるわけではありません。商用目的で自社ロボット向けに事後学習するなら、学習データは自社で収録したものなど商用利用できるものを用意してください。
見落としやすいのが土台のモデルです。推論を始めると、コードはDreamDojoの重みとは別に、Hugging FaceからCosmos-Predict2.5-2Bのトークナイザ（Wan2.1 VAE）とテキストエンコーダのCosmos-Reason1-7Bを取りに行きます。Cosmos-Predict2.5-2Bは利用条件への同意が必要なゲート付きのリポジトリなので、事前にHugging Faceで同意しておかないとダウンロードで止まります。どちらもNVIDIA Open Model Licenseです。
DreamDojo-HVの人間映像は未公開
事前学習の本体である43,827時間のDreamDojo-HVは配布されていません。Hugging FaceにあるDreamDojo-HV_Evalは名前が紛らわしいのですが、人の映像の一部ではありません。論文によると、3つの人間データに出てくる動作をFourier GR-1で撮り直した、ロボットの評価用データです。データ本体の公開について、著者は2026年3月31日のIssue #8で「公開する計画はあるが、おそらくこのプロジェクトとは別になる」と答えています。事前学習を一から再現する計画は、現時点では立てられません。
DreamDojoを動かす手順と詰まりやすい点
セットアップと必要なGPU
公式のSETUP.mdは「NVIDIA H100 80GBでテストした」と書いています。環境構築はuvを使い、リポジトリ直下のinstall.shを実行します。
git clone https://github.com/NVIDIA/DreamDojo.git
cd DreamDojo
bash install.shinstall.shは uv sync --extra=cu128 --python 3.10 を実行します。cu128はpyproject.tomlでtorch 2.7系の依存に対応しているので、CUDA 12.8・Python 3.10・PyTorch 2.7の組み合わせが前提です。既存の学習環境とは分けて構築してください。
GPUメモリの最小値は公式に書かれていません。論文の遠隔操作デモは、RTX 5090を積んだデスクトップでDreamDojo-2Bを動かしています。一方Issue #6では、24GBのGPUで2B版を推論しようとしたところ、Wan2.1 VAEのエンコーダ（3次元畳み込み）でメモリが足りなくなったと報告されています。このIssueは11月11日時点で未解決です。24GBのGPUで試す場合は、報告された構成でメモリ不足が起きたことを踏まえ、省メモリ化を含む事前検証の工数を見込んでください。
重みとデータの取得と評価の実行
評価用のeval.shはそのままでは動きません。中身は著者の環境の絶対パス（/mnt/amlfs-01/…）を直接書いたラッパーで、引数も受け付けません。実体の examples/action_conditioned.py を直接呼びます。重みとデータの取得から評価までの例は次のとおりです。初回は分散チェックポイントの変換が走り、現行スクリプトはその前にsudoで保存先の権限を変更するため、実行権限と変換用の空き容量も確認してください。
source .venv/bin/activate
hf auth login
hf download nvidia/DreamDojo --include "2B_GR1_post-train/*" --local-dir checkpoints
hf download nvidia/PhysicalAI-Robotics-GR00T-Teleop-GR1 --repo-type dataset \
--include "EgoDex_Eval/*" --local-dir datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1
python examples/action_conditioned.py \
-o outputs/action_conditioned/basic \
--checkpoints-dir checkpoints/2B_GR1_post-train \
--experiment dreamdojo_2b_480_640_gr1 \
--save-dir outputs/dreamdojo_eval \
--dataset-path datasets/PhysicalAI-Robotics-GR00T-Teleop-GR1/EgoDex_Eval \
--num-frames 49 \
--num-samples 100 \
--data-split full \
--deterministic-uniform-sampling–checkpoints-dir には latest_checkpoint.txt があるフォルダを指定します。もう1つの落とし穴はデータセットのパス名です。groot_dreams/dataloader.py は、パスの文字列に gr1・g1・yam・agibot のいずれかが含まれるかでロボットの行動データを読むかどうかを判定しています。Issue #10では、パスにgr1を含めずに評価して意味のない既定の行動値が読み込まれ、論文よりはるかに低いスコアになっていました。上の例は親フォルダ名にGR1が入っているので条件を満たします。データを別の場所に移すときはフォルダ名を変えないでください。
蒸留と10FPS推論で起きている問題
DISTILL.mdの蒸留は、教師の出力を作る launch_teacher_gen.sh、生徒を教師に合わせる launch_warmup.sh、自己回帰の誤差を抑える launch_self_forcing.sh の3段階です。推論は launch_student_inference.sh、遠隔操作は launch_student_inference_teleop.sh で行います。生成ステップは教師の35から生徒の4に減ります。
ただし、生徒モデルが使うattentionはNATTENという外部ライブラリに依存します。Issue #16では、コードが求めるNATTENの版（0.21.5以降）と、インストール手順が固定するtorch 2.7の組み合わせを同時に満たせないと報告されています。蒸留済みモデルの出力が乱れるという報告（Issue #22）も開いたままです。蒸留から試すなら、PyTorchとNATTENの版を自分で合わせ直す前提で工数を見積もってください。
向いている用途と向かない用途
DreamDojoを使う価値がはっきりあるのは、実機で試す前に方策の候補を順位付けして絞り込む使い方です。r=0.995の相関は果物詰めという1種類のタスクでの結果なので、自社のタスクで導入する前に、数個の方策で実機とDreamDojoの順位が一致するかを先に確かめてください。物理エンジンで力学を解くIsaac Simとは？無料で使えるライセンスの範囲・GPU要件・導入方法【6.2対応・2026年10月】のような従来のシミュレータを置き換えるものではなく、並べて使う道具です。
向かない用途もはっきりしています。出力はピクセルの映像なので、接触力や変形量の数値は取り出せません。力制御の設計値を求める用途には使えません。付録Aの限界には、叩く・速く振るといった珍しい動作の再現が苦手なこと、複数カメラの同時シミュレーションに対応していないことが挙がっています。最近の方策モデルの多くは複数カメラを入力にするので、そうした方策の評価にはそのまま使えません。評価も卓上の操作が中心で、歩行や移動は検証されていません。自社のロボット開発でワールドモデルの事後学習や評価の仕組みづくりを検討するなら、生成AI開発・AI受託開発として要件の整理から相談できます。
よくある質問
DreamDojoはどこで入手できますか？
コードはGitHubのNVIDIA/DreamDojo、重みはHugging Faceのnvidia/DreamDojo、事後学習データと評価セットはHugging Faceのnvidia/PhysicalAI-Robotics-GR00T-Teleop-GR1で公開されています。いずれも2026年2月18日の公開で、プロジェクトページはdreamdojo-world.github.ioです。蒸留済みの高速モデルは配布されていません。
DreamDojoは商用利用できますか？
公開物ごとに条件が違います。コードはApache-2.0、重みはNVIDIA Open Model Licenseの条件で商用利用できます。公開データセットはCC BY-NC 4.0ですが、公開重みの商用利用に自社データでの事後学習が必須という条件はありません。追加学習する場合は、商用目的で利用できるデータを用意してください。
DreamDojo-HVデータセットは公開されていますか？
43,827時間の人間映像そのものは公開されていません。公開されているDreamDojo-HV_Evalは、Fourier GR-1で撮り直した評価用のロボット映像です。著者はIssue #8で、人間映像データを別の形で公開する計画があると答えています。
動かすにはどのGPUが必要ですか？
公式の動作確認はNVIDIA H100 80GBです。論文の遠隔操作デモではRTX 5090のデスクトップで2B版を動かしていますが、24GBのGPUではVAEでメモリ不足になったという報告があります。事後学習の既定設定はH100 128枚、蒸留はH100 64枚です。
ICML 2026採録版とarXiv版はどちらを引用すべきですか？
数値を引用するなら、ICML 2026の会議録（PMLR 306、33340〜33366ページ）の採録版です。蒸留後の速度は10.93FPS、モデルベースプランニングの改善は最良チェックポイント比で+5.33ポイントに改訂されています。arXivの2602.06949はv1のままで、10.81FPSや「約2倍」はv1の数値です。
