NVIDIA Cosmos 3は、映像や状況を読み解く推論と、動画・音・ロボットの行動を生み出す生成を、1つのモデルで扱うフィジカルAI向けのオープンモデルです。2026年5月31日にHugging FaceとGitHubで重みが公開され、6月1日付で台北のGTC Taipeiから正式に発表されました。10月には自動運転とロボットのシミュレーション用に後学習した4つのチェックポイントが加わっています。
この記事では、Nano・Super・Edgeの違い、パラメータ数が2通りに見える理由、派生チェックポイントの使い道、必要なGPUと生成時間、Diffusers・vLLM-Omni・NIMでの動かし方、ライセンスの範囲を、モデルカードと公式リポジトリの記述に沿って整理します(2026年11月13日時点)。
まとめ:Cosmos 3の要点(2026年11月時点)
- 何者か:推論を担うReasonerと、動画・画像・音・行動を生成するGeneratorを1モデルに入れたオムニモデル。従来のCosmos Predict・Transfer・Reason・Policyを1本に統合した後継です。
- 3つの基本モデル:Super(64B)・Nano(16B)・Edge(4B)。発表時に出回った「Super 32B・Nano 8B」は、2つのタワーの片側にあたる土台の大きさです。Edgeは2026年7月20日に公開されました。
- 派生チェックポイント:10月20日に自動運転用のTransfer-Auto・Sim-Auto、ロボット用のSim-Transfer・Sim-Bimanualが公開されました。いずれもNanoの後学習版で、ライセンスは本体と同じOpenMDW 1.1です。
- まず試すならNano:NIMの構成表では、BF16の動画生成に1GPUあたり58GiB、層と安全フィルターをCPU側へ逃がす構成なら31GiBが下限です。NIM 2.1.0(FP8)なら、H100 1枚で480pの動画1本が約25秒です。
- 動かし方:Diffusersの
Cosmos3OmniPipeline、OpenAI互換APIを立てるvLLM-Omni、NVIDIAのNIMコンテナが主な経路です。対応OSはLinuxのみです。 - ライセンス:本体はOpenMDW 1.1で商用利用できます。ただし安全フィルター(Guardrail)と医療ロボット向けの派生モデルはNVIDIA Open Model Licenseで、条件が別です。
Cosmos 3の構造:推論と生成を1モデルに入れたオムニモデル
これまでのCosmosは、未来の映像を予測するPredict、セグメンテーションや深度を条件に映像を作り変えるTransfer、映像を理解して言葉で答えるReason、ロボットの動作を出すPolicyと、役割ごとに別モデルでした。Cosmos 3はこれらを1つのアーキテクチャにまとめています。Diffusersの公式ドキュメントも、Cosmos 3を「以前のPredict・Reason・Transferの各モデルを置き換えるもの」と説明しています。
ロボットや自動運転向けのAIを総称するフィジカルAIの仕組みと生成AIとの違いを押さえておくと、Cosmos 3がどの工程を受け持つモデルなのかを位置づけやすくなります。
Reasonerタワーと Generatorタワーの分担(Mixture-of-Transformers)
中身はMixture-of-Transformers(MoT)と呼ばれる二塔構造です。各層に、テキストを1トークンずつ自己回帰で出すReasonerタワーと、画像・動画・音・行動を拡散(ノイズ除去の反復)で生成するGeneratorタワーがあり、それぞれ独立したパラメータを持ちます。両者はジョイントアテンションでつながっているので、Generatorは生成のたびにReasonerが読み取った文脈を参照できます。
実務上の意味は、理解だけが目的ならReasoner側だけを動かせる点にあります。GitHubの公式リポジトリも、Reasoner(入力はテキストと映像、出力はテキスト)とGenerator(入力に音と行動も加わり、出力は映像・音・行動)を「1つのモデルの2つの使い口」として分けて案内しています。
入出力の範囲と行動データの形式
Generatorの入力はテキスト・画像・動画(音声付きも可)・行動軌跡で、出力は画像・動画・AAC音声・行動です。動画は256p(320×192)・480p(832×480)・720p(1280×720)の3段階で、既定は480p・24fps・189フレームです。Edgeは256pと480pのみに対応します。
行動は「フレームごとの関節角やグリッパー状態の数値列」で、形は(フレーム数T, 次元D)の2次元配列です。モデルカードが対応先として挙げる機体と次元は下表のとおりです。挙がっていない機体で使う場合は、行動の次元と各値の意味が既存の対応先と合うかを確かめ、合わなければ自社データでの追加学習を検討します。
| 対象 | 次元 |
|---|---|
| カメラ移動(一般) | 9D |
| 自動運転車 | 9D |
| 一人称視点の人の動き | 57D |
| 単腕(Franka・UR・WidowX 250・Google robot) | 10D |
| UMI(手持ちグリッパーの操作データ) | 9D |
| 双腕(Franka Panda×2) | 20D |
| ヒューマノイド(AgiBot) | 29D |
行動を入力して未来の映像を出す「順動力学」、映像から行動を逆算する「逆動力学」、指示文と観測から次の行動を出す「ポリシー」の3つが、同じモデルの使い方として並んでいます。ロボットの身体性を扱う研究の流れはエンボディドAIの意味と代表モデルで整理しています。
Nano・Super・Edgeの違いとパラメータ数の読み方
| モデル | 総パラメータ | 片側タワーの土台 | 公式の想定GPU | 公開日 |
|---|---|---|---|---|
| Cosmos3-Super | 64B | 32B(Qwen3-VL 32B) | H200 / B200 / GB200 | 2026年5月31日 |
| Cosmos3-Nano | 16B | 8B(Qwen3-VL 8B) | RTX PRO 6000 / H100 / B200 | 2026年5月31日 |
| Cosmos3-Edge | 4B | 2B(独自にゼロから学習) | Jetson AGX Orin / Thor / RTX PRO 6000 | 2026年7月20日 |
想定GPUはGitHubのモデル表の記載です。Hugging Faceのダウンロード数(2026年11月13日時点)は累計ではEdgeが約258万で最多ですが、直近30日ではNanoが約149万と、Edge(約5.6万)・Super(約4.4万)を大きく上回っています。
「8B・32B」と「16B・64B」が並ぶ理由
発表当初の報道の多くは「Super 32B・Nano 8B」と紹介し、モデルカードとGitHubでは「Super 64B・Nano 16B」と書かれています。どちらも誤りではありません。技術レポートの2.5節は「Nanoは8Bの密なトランスフォーマーを土台にした16Bのモデル」「Superは32Bの土台による64Bのモデル」と明記しています。MoTでは各層がReasoner用とGenerator用の2組のパラメータを持つため、総数が土台のほぼ2倍になります。
見積もりで使うべきは総数のほうです。Hugging Faceが公開するsafetensorsの集計はNanoが15,750,057,456、Superが64,615,003,632、Edgeが3,858,999,728で、BF16(1パラメータ2バイト)なら重みだけでNanoが約31.5GB、Superが約129GB、Edgeが約7.7GBになります。「8Bだから24GBのGPUで足りる」と読むと見積もりを外します。
用途別のモデルの選び方
最初の検証はNanoで始めるのが妥当です。RTX PRO 6000(96GB)1枚で動画生成まで通り、GitHubのモデル表も「追加学習の土台に向くモデル」と位置づけています。10月の派生チェックポイントもすべてNanoから作られています。
Superは、画質差が下流モデルの性能に響く合成データ生成や、Nanoへの蒸留元(教師モデル)として公式が位置づけているモデルです。NIMの推奨も「H200・B200級ならSuper、H100やRTX PRO 6000ならNanoを既定に」としています。GTC Berlinの発表では、MicroAGIがCosmos 3を人の物体操作の映像で後学習し、32B相当のReasonerを8BのNanoへ精度を落とさず蒸留した事例が紹介されました。
ロボット実機の上で行動を出したいならEdgeです。Jetson AGX Thorで画像からの動画生成(480p・189フレーム)は137.50秒かかりますが、DROIDデータで追加学習したポリシーの推論は6.32秒で、生成より行動推論向きの性能です。Edgeは8月25日に生成チェックポイントと実行時の既定値が更新されたため、評価結果を再現できるよう、使ったリビジョンを記録しておきます。Jetsonの世代差はNVIDIA JetsonのOrinとThorの違いを参照してください。
派生チェックポイント:シミュレーション用4モデルと蒸留・FP8版
基本の3モデルのほかに、NVIDIAは用途別に後学習した「Example checkpoint」をcosmos3-examplesコレクションで公開しています。中でも2026年10月20日公開(10月21日のGTC Berlinで発表)のシミュレーション用4モデルは、生成した映像を方策(ポリシー)の評価ループに組み込む用途に絞ったものです。4モデルとも学習可能パラメータは16Bです。
自動運転向け:Transfer-AutoとSim-Auto
Transfer-Autoは、最大11台のカメラ(魚眼を含む)の同期動画と、128ビームの回転式LiDARの観測を同時に生成できるモデルです。車線や物体の直方体を描いた「World Scenario Map(WSM)」をカメラごとに条件として与え、天候・照明・時間帯は文章で指定します。オフラインで合成データを作る用途向けで、自社のカメラ配置に合わせるにはまずこのモデルを後学習します。
Sim-Autoは、Transfer-Autoを因果的に学習し直し、4ステップのノイズ除去で短い塊を順に出せるよう蒸留したストリーミング版です。運転操作に応じてWSMを更新するシミュレーション実行環境と組み合わせて、閉ループの走行シミュレーションに使います。ただし「リアルタイム」はカメラ台数次第です。モデルカードの1GPUのスループット(vLLM-Omni・201フレーム生成)は次のとおりで、カメラの出力が30fpsであるのに対し、11台構成ではGB200でも毎秒2フレームを下回ります。
| 構成(LiDARなし・480p) | GB200 | H100 | H20 |
|---|---|---|---|
| カメラ1台 | 16.8フレーム/秒 | 10.2フレーム/秒 | 3.59フレーム/秒 |
| カメラ4台 | 5.3フレーム/秒 | 2.5フレーム/秒 | 0.87フレーム/秒 |
| カメラ11台 | 1.8フレーム/秒 | 0.83フレーム/秒 | 0.28フレーム/秒 |
カメラ1台・GB200でも16.8フレーム/秒で、30fpsの実時間には届いていません。GPUを増やして環境を並列に回せば評価全体の本数は稼げますが、1つの環境が実時間で動くわけではないため、閉ループ評価は実時間より遅く進む前提で設計します。自動運転の世界モデルを比べるなら、英WayveのWayve GAIAの世代別スペックと評価の限界も参考になります。
ロボット向け:Sim-TransferとSim-Bimanual
Sim-Transferは、物理シミュレーターが出した深度・セグメンテーション・エッジ・ぼかしのいずれかと文章から、写実的な動画を作るモデルです。物理演算と正解の状態はシミュレーター(例:Isaac Sim)側に残し、見た目だけを生成で置き換える分担になります。480p・30fpsで最大600フレームを出せ、1GPUのスループットはGB200で毎秒24.5フレーム、H100で14.6フレーム、RTX PRO 6000で8.3フレームです。
Sim-Bimanualは、双腕ロボットの行動とカメラの動きから次の映像を予測するモデルで、モデルカードが挙げる対応機体はAgiBotです。初期画像1枚から、方策またはジョイスティック操作に応じて映像を出し続けます。480pのスループットはGB200で毎秒54.1フレーム、RTX PRO 6000で20.6フレームと、4モデルの中で最も高いスループットです。公式ブログは、公開したvLLM-Omniの手順はGB200 1枚で試したもので「必要メモリの下限ではない」と断っています。
Super 4Step蒸留版とFP8版
Superには、テキストから画像(Text2Image)と画像から動画(Image2Video)に特化した版があり、それぞれ4ステップで生成する蒸留版が2026年7月20日に公開されました(モデルカードの公開日)。推奨設定の「50ステップ+CFG」で100回かかるモデル評価を4回に減らし、GitHubは「17〜25倍速い」としています。モデルカードによると、Text2Image-4StepはArtificial Analysisの画像生成リーダーボードでオープンモデル2位でした(2026年7月17日時点)。
11月9日には、FP8に量子化したNano・Super・Edgeが独立したリポジトリ(例:nvidia/Cosmos3-Nano-FP8)として公開されました。Nano-FP8のモデルカードでは、PAIBench-GのT2VスコアはBF16・FP8とも79.4です。この指標では同値ですが、他の品質指標には差があります。ただしBF16はPyTorch、FP8はvLLM-Omniで測った値です。また、NIMの構成表ではFP8の実行に演算能力8.9以上(Ada Lovelace世代以降)のGPUを求めており、A100ではBF16しか選べません。
必要なGPUと生成時間の目安
モデルカードが対応を明記しているのはLinuxと、Ampere・Hopper・Blackwell世代のNVIDIA GPUです。必要なメモリは、NIMの構成表が構成ごとに1GPUあたりの下限を示しています(現在はcosmos-frameworkリポジトリに置かれています)。NIM向けの値なので、DiffusersやvLLM-Omniでは目安として読んでください。
| 構成 | 1GPUあたりの下限 | ホストRAMの下限 |
|---|---|---|
| Nano 生成 BF16・オフロードなし | 58GiB | 40GiB |
| Nano 生成 BF16・層と安全フィルターをオフロード | 31GiB | 64GiB |
| Nano 生成 FP8・オフロードなし | 44GiB | 35GiB |
| Super 生成 BF16・オフロードなし | 150GiB | 112GiB |
| Super 生成 FP8・オフロードなし | 93GiB | 76GiB |
| Super 生成 BF16・層をオフロード | 42GiB | 150GiB |
| Edge DROIDポリシー(実験扱い) | 15GiB | 16GiB |
| Edge 推論(Reasoner) | 12GiB | 8GiB |
| Nano 推論(Reasoner) | 23.1GiB | 24GiB |
| Super 推論 FP8 | 67GiB | 43GiB |
Nanoの31GiB構成は、GeForce RTX 5090のような32GBのGPUで通常の生成を回すための設定と明記されています。ただしRTX 5090は動画変換(Transfer)の下限35GiBには届きません。Reasonerは単体GPUの場合、起動時に4GiBの予約を差し引いた空きメモリで判定されるため、24GB級のGPUでは予約を差し引いた空きが約20GiBにとどまり、NanoのReasoner(23.1GiB)を満たしません。最も軽いEdgeのReasonerは、RTX 5090やL40S、A100(BF16のみ)での動作が確認されています。Jetson AGX ThorやDGX Sparkのような共有メモリの機器では、総容量の70%を実効値として判定し、Nanoは収まりますがSuperの生成は収まりません。
生成時間は、GitHubの公式ベンチマークにあるNanoのテキストからの動画生成(1GPU・189フレーム=24fpsで約8秒)が目安になります。11月6日にNIM 2.1.0の値へ更新されました。
| GPU | vLLM-Omni 480p | vLLM-Omni 720p | NIM 2.1.0 480p | NIM 2.1.0 720p |
|---|---|---|---|---|
| RTX PRO 6000 Blackwell | 105.61秒 | 371.53秒 | 46.32秒 | 170.57秒 |
| H100 80GB(HBM3) | 58.17秒 | 202.29秒 | 24.71秒 | 86.16秒 |
| B200 | 32.04秒 | 107.79秒 | 13.71秒 | 49.86秒 |
| DGX Spark(この行のみNIM 2.0.0) | - | - | 358.61秒 | 1,360.13秒 |
NIMの値はFP8・レイテンシ重視の設定で、リクエスト処理と動画のエンコードを含みません。ベンチマークの注記も、エンジンごとに別の計測でステップ数などがそろっていないと断っています。掲載値には2倍を超える差がありますが、NIMへの切り替えやFP8化の効果を分離した比較ではありません。多数の動画を生成する場合は、GPUを買い増す前に同じ生成条件で測り比べます。SGLangとTensorRT-LLMも対応バックエンドに加わり、RTX PRO 6000の480pではどちらもvLLM-Omniと同程度(約102〜104秒)です。
1,000本生成するときのGPU時間の見積もり
重みは無料でも、実際の費用はGPUの稼働時間で決まります。上の表の480pの値に1,000本を掛けると、NIM 2.1.0ではH100 1枚で約6.9時間、RTX PRO 6000 1枚で約12.9時間、vLLM-OmniならH100 1枚で約16.2時間です。エンコードや失敗した生成のやり直しは含まないので、実運用ではこの値に余裕を持たせて見積もります。表に掲載した構成では、720pの生成時間は480pの約3.5〜3.8倍です。
Cosmos 3の動かし方:Diffusers・vLLM-Omni・NIM
ブラウザで触るだけなら、build.nvidia.comにNanoのReasonerと動画生成の試用ページがあり、インストールは要りません。自前のGPUで動かす主な経路は次の3つです。
- Diffusers:Pythonスクリプトから1本ずつ生成する検証向け。
Cosmos3OmniPipelineは2026年7月3日公開のDiffusers 0.39.0から含まれます。 - vLLM-Omni:OpenAI互換のAPIサーバーとして立て、シミュレーション用チェックポイントも含めて複数の生成を流す用途向け。
- NIM:NGCのビルド済みコンテナ。公式ベンチマークで最も速く、Hugging Faceのアクセス権の代わりにNGCのAPIキーが要ります。
Diffusersで最初の動画を生成する手順
GitHubの公式クイックスタートに掲載された手順です(本記事ではGPU上で実行していないため、GPUの認識と動画の保存まで手元で確認してください)。実行前に、パッケージ管理ツールのuvを入れ、Hugging Faceで安全フィルターnvidia/Cosmos-1.0-Guardrailのアクセス申請を済ませておきます(詳しくは後述)。そのうえでPython 3.13の仮想環境を作り、Diffusersを入れてNanoから動画を1本生成します。
uv venv --python 3.13 --seed --managed-python && source .venv/bin/activate
uv pip install --torch-backend=auto \
"diffusers @ git+https://github.com/huggingface/diffusers.git" \
accelerate av cosmos_guardrail huggingface_hub imageio imageio-ffmpeg \
torch torchvision transformers
uvx hf@latest auth login
import torch
from diffusers import Cosmos3OmniPipeline
from diffusers.utils import export_to_video
pipe = Cosmos3OmniPipeline.from_pretrained(
"nvidia/Cosmos3-Nano", torch_dtype=torch.bfloat16, device_map="cuda"
)
video = pipe(prompt="A mobile robot navigates a warehouse aisle and stops at a shelf.").video
export_to_video(video, "first_video.mp4", fps=24)
初回は16Bのチェックポイントをダウンロードします。モデルの取得やトークンの扱いはHugging Faceの使い方と料金にまとめています。
vLLM-OmniでOpenAI互換APIとして立てる手順
公式の環境構築ガイドが推奨するDockerでの起動例(Nano・GPU1枚)です。DockerとNVIDIA Container Toolkitを入れたLinuxホストが前提です。同じvllm/vllm-omni:cosmos3イメージが、Transfer-Auto・Sim-Auto・Sim-Transfer・Sim-Bimanualの手順でも使われています。
export HF_HOME="${HF_HOME:-$HOME/.cache/huggingface}"
docker pull vllm/vllm-omni:cosmos3
docker run --runtime nvidia --gpus '"device=0"' \
-v "${HF_HOME}:/root/.cache/huggingface" \
-p 8000:8000 --ipc=host \
vllm/vllm-omni:cosmos3 \
vllm serve nvidia/Cosmos3-Nano \
--omni \
--model-class-name Cosmos3OmniDiffusersPipeline \
--port 8000 \
--init-timeout 1800
このサーバーは起動時にGuardrailを読み込むため、Hugging Faceでそのリポジトリへのアクセス権がないと、リクエストを受ける前に終了します。リクエスト単位でguardrails: falseを送っても回避できません。GPUを増やすときは--tensor-parallel-sizeなどの並列オプションを足し、メモリが足りないときは--enable-layerwise-offloadで層ごとにCPUへ逃がします。推論エンジン側の高速化の考え方はTensorRT-LLMによる推論高速化の仕組みも参考になります。
NIMコンテナで起動する手順
NIMはNGCのAPIキーで認証します。キーはbuild.nvidia.comかNGCで発行して環境変数NGC_API_KEYに入れ(下のコードの1行目)、docker login nvcr.io(ユーザー名は$oauthtoken)を1回済ませておきます。公式の手順は、イメージをlatestではなく版番号で固定するよう求めています。次は公式の起動例です。
export NGC_API_KEY='<発行したAPIキー>'
export NIM_IMAGE='nvcr.io/nim/nvidia/cosmos3:2.1.0'
export LOCAL_NIM_CACHE="$HOME/.cache/nim/cosmos3"
mkdir -p "$LOCAL_NIM_CACHE" && chmod -R a+rwX "$LOCAL_NIM_CACHE"
docker run -d --name cosmos3-generator \
--gpus device=0 --shm-size 16g \
--ulimit memlock=-1 --ulimit stack=67108864 \
--ulimit nofile=65536:65536 \
-p 8000:8000 \
-e NGC_API_KEY \
-e NIM_MODEL_TYPE=generator \
-e NIM_MODEL_VARIANT=nano \
-e NIM_PERF_PROFILE=latency \
-v "$LOCAL_NIM_CACHE:/opt/nim/.cache" \
"$NIM_IMAGE"
Reasonerとして立てるときはNIM_MODEL_TYPE=reasonerにし、NIM_MODEL_VARIANTにedge・nano・superのいずれかを指定します。精度は通常NIMが自動で選び、固定したいときだけNIM_PRECISION=fp8を足します。
Guardrail申請・CUDAビルド・プロンプト整形の導入条件
- Guardrailのアクセス申請:
nvidia/Cosmos-1.0-Guardrailはゲート付きリポジトリで、ページ上で利用条件に同意してから、同じアカウントのトークンでログインする必要があります。ログインしただけでは権限は付きません。 - CUDAドライバーとの組み合わせ:公式ガイドによると、ドライバーがCUDA 13系なら
cu130、12系ならcu128のビルドを選びます。--torch-backend=auto任せでは合わないことがあります。 - 短いプロンプトは画質が落ちる:Cosmos 3は長く詳細なキャプションで学習されているため、公式は短い指示文を所定のJSON構造に膨らませる「プロンプトアップサンプリング」を推奨しています。
ライセンス:OpenMDW 1.1の範囲と別ライセンスの部品
Nano・Super・Edgeと、シミュレーション用4モデル・4Step蒸留版の重みは、Linux Foundationが公開するモデル向けライセンスOpenMDW 1.1で配布され、モデルカードには「商用・非商用のどちらでも利用可能」とあります。条文は、モデル一式を「制限なく扱う」権利を著作権・特許・データベース権などについて無償で与える形で、利用分野の制限はなく、生成物(出力)の利用にも制約を課さないと明記しています。
守るべき条件は2点です。1つは、再配布するときにライセンス文の写しと、著作権表示・その他の出所表示を残すことです。もう1つは、モデルが特許や著作権を侵害していると主張する訴訟を起こしたり、維持したり、自発的に加わったりすると、付与された権利がすべて終了することです。ただし、自分に対して先に起こされた訴訟への応訴として主張する場合は除かれます。
注意したいのは周辺部品と一部の派生モデルです。
- Guardrail:公式手順で読み込む
Cosmos-1.0-GuardrailはNVIDIA Open Model Licenseです。vLLM-Omniで--no-guardrailsを付けて無効化する場合も、公式ガイドはライセンス順守の責任は利用者にあると明記しています。 - 医療ロボット向けの派生:手術ロボットのデータで後学習した
Cosmos3-H-Embodied-NanoとCosmos3-H-Dreams(いずれも2026年10月20日公開)は、Nanoの派生でありながらNVIDIA Open Model Licenseです。「Cosmos3系はすべてOpenMDW」と一括りにしないでください。
製品に組み込むときは、パイプラインで一緒に読み込むモデルのライセンスを1つずつ確認します。生成物を使う前の権利確認(学習データ由来の第三者の権利など)も、ライセンス上は利用者の責任です。
Cosmos Predict・Transfer・Reasonからの移行判断
「Cosmos Transfer 3」という単独のモデルは2026年11月時点で公開されていません。Transferの機能は、Cosmos 3のNanoとSuperの動画変換モード(エッジ・ぼかし・深度・セグメンテーションのいずれかを条件にした動画生成)に吸収されており、シミュレーター連携に特化した版がSim-Transferです。Edgeは動画変換モードに対応していません。Predict系の「数フレームから続きを予測する」使い方も、Cosmos 3では動画入力モードの1つとして残っています。
移行するかどうかは、既存のパイプラインが何を出力しているかで判断します。
- 理解だけ(映像への質問応答・異常検知)で、既存のCosmos Reason 2が要件を満たしている:急いで移る理由は薄いです。重みとGPU要件は移行元・移行先のモデルサイズと実行構成によって変わるため、精度と処理速度を自社データで比較してから判断します。
- Predict・Transferで合成データを作っている:移行の効果が大きい領域です。技術レポートの動画生成評価(Cosmos HUE、テキストから動画)では、総合点がCosmos-Predict2.5-14Bの82.1に対しNanoが87.6、Superが89.3でした。自動運転の多視点データなら、Transfer-Autoから始めるのが近道です。
- 行動データ(ポリシー学習・逆動力学)が必要:旧世代のCosmos Policyは映像生成とは別のモデルでした。Cosmos 3ではポリシー・順動力学・逆動力学が同じ重みに入り、DROID向けに追加学習した公式チェックポイントもあるため、新しく始めるならCosmos 3から検証します。
旧世代のCosmos-Predict2.5を土台にした研究例として、NVIDIAのロボットワールドモデルDreamDojoがあります。
2026年5月〜11月の更新履歴
| 日付 | 内容 |
|---|---|
| 2026年5月31日 | NanoとSuperの重みを公開 |
| 2026年6月1日 | GTC Taipeiで正式発表、Cosmos Coalitionを設立 |
| 2026年7月3日 | Diffusers 0.39.0がCosmos 3に対応 |
| 2026年7月20日 | Edge(4B)、Super 4Step蒸留版を公開 |
| 2026年8月25日 | Edgeの生成チェックポイント・実行時の既定値・使用例・ベンチマークを更新 |
| 2026年10月20日 | シミュレーション用4モデルを公開 |
| 2026年10月21日 | GTC BerlinでNIM高速化・Cosmos Data Factoryを発表 |
| 2026年11月6日 | 公式ベンチマークをNIM 2.1.0の値へ更新 |
| 2026年11月9日 | FP8版(Nano・Super・Edge)のリポジトリを公開 |
10月21日のNVIDIAのGTC Berlinの発表では、更新したCosmos 3 NIMが検証済みの構成で最大2倍の推論速度を出すこと、合成データ作りの手順書「Cosmos Data Factory」に5種類のブループリント(自動運転データセット生成・画像の属性拡張・事象動画の生成・欠陥画像の生成・動画データの拡張)が加わったことが示されました。欠陥画像の生成はプリント基板・金属・ガラスを対象としており、製造業の外観検査に直結します。
採用判断:向く用途・避ける場面とベンチマークの読み方
Cosmos 3が向くのは、ロボット・自動運転・映像AIを自社で開発していて、ワークステーション級以上のGPUを用意できるチームです。採用事例も同じ層に集まっています。GTC Berlinの発表では、PorscheがVolkswagenグループ各ブランドの自動運転データ基盤にCosmos Data Factoryを使い、実車での繰り返し走行試験を最大90%減らす見込みとしました。ANYbotics(産業点検ロボット)は1,500本超の合成動画で液漏れなどの変化を認識させています。
一方、次の場面では採用を見送るか、範囲を絞るべきです。
- 生成結果を安全判断の根拠にしたい:モデルカードは、物理シミュレーターを内蔵せず物理法則は近似にすぎないこと、出力を「物理的に正確なシミュレーション」や「安全認証済みの判断」として扱わないことを明記しています。物体の消失・変形、不自然な衝突も起こり得ます。
- Windows・Macでそのまま動かしたい:対応OSはLinuxのみです。
- 24GB以下のGPUしかない:本記事で示したNIM構成では、Nanoの生成・Reasonerの起動条件を満たしません。他のバックエンドでの可否は個別に確認し、Edge、ブラウザ試用、クラウドGPUも候補にします。
性能の主張は割り引いて読みます。発表資料はオープンモデル中の首位をうたい、GTC Berlinでは「6つのオープンモデルのリーダーボードで上位5位以内」としていますが、順位は時点の値です。2026年11月13日時点のRoboLab公開リーダーボードでは、Cosmos3-Nano-Policyは成功率36.8%で表示順位8位(同率を含め上に10の方策)、Cosmos3-Edge-Policyは22.9%で13位です。技術レポートの動画生成評価でも、Nano(87.6)はオープンモデルのWan2.2-A14B(88.2)を下回り、クローズドのVeo-3.1は91.3でした。
判断の手順としては、まず自社の機体・カメラ構成・環境で、合成データを混ぜた場合と混ぜない場合の下流タスクの成功率を比べます。公開ベンチマークの順位が自社の現場での差になるとは限りません。社内データでの検証設計や生成AIの導入範囲の切り分けから相談したい場合は、生成AI導入支援で対応しています。自動運転向けの推論モデルとして並べるなら同じNVIDIAの自動運転AIのAlpamayo、操作の基盤モデルならGeneralist AIのGEN-1、対話的に世界を生成する別系統のモデルならGoogleのProject Genieの使い方と提供状況が比較対象になります。
よくある質問
Cosmos 3はいつ公開されましたか?
NanoとSuperの重みは2026年5月31日にHugging FaceとGitHubで公開され、6月1日に台北で正式発表されました。発表時に「近日公開」とされたEdgeは2026年7月20日に公開され、10月20日にはシミュレーション用の4モデルが加わっています。
Cosmos 3 Nanoのパラメータ数は8Bと16Bのどちらですか?
総パラメータは16Bです。8Bは、ReasonerとGeneratorの2つのタワーそれぞれの土台になった密なトランスフォーマーの大きさです。GPUメモリの見積もりには16B(BF16の重みだけで約31.5GB)を使ってください。
Cosmos 3は商用利用できますか?
できます。Nano・Super・Edgeとシミュレーション用4モデルはOpenMDW 1.1で、商用・非商用の両方で利用できます。GuardrailとH-Embodied・H-DreamsはNVIDIA Open Model Licenseなので、部品ごとに条件を確認してください。
Cosmos 3はWindowsや一般向けGPUで動きますか?
対応OSはLinuxのみです。NIMでNanoの動画生成を動かす目安は、オフロード構成(31GiB)に対応するRTX 5090のような32GB級GPUで、24GBのGPUではNIMのNano Reasonerも起動条件を満たしません。NIMで最も軽いEdgeのReasonerは12GiBが下限です。ブラウザで試すだけならbuild.nvidia.comの試用ページが使えます。
Cosmos Transfer 3はありますか?
単独のモデルとしては公開されていません。Transferの機能はCosmos 3 NanoとSuperの動画変換モードに統合され、シミュレーターの出力を写実化する用途にはSim-Transfer、自動運転の多視点データにはTransfer-Autoが用意されています。旧世代のCosmos-Transfer2.5は、Hugging Faceで引き続き公開されています。