--- title: "DreamOmni2とは？画像で指示する編集・生成AIの使い方・必要VRAM・商用利用【2026年11月】" url: "https://www.issoh.co.jp/tech/details/9309/" published: 2025-10-15 updated: 2026-11-08 categories: ["AI"] publisher: "株式会社一創" --- # DreamOmni2とは？画像で指示する編集・生成AIの使い方・必要VRAM・商用利用【2026年11月】 DreamOmni2は、文章に加えて「お手本の画像」でも指示できる画像編集・生成モデルです。香港中文大学（CUHK）・香港科技大学（HKUST）・香港大学（HKU）とByteDanceの研究者が2025年10月8日に論文を公開し、10月10日にコードと重みをGitHub・Hugging Faceで配布しました。論文はCVPR 2026に採択され、リポジトリ名には「CVPR2026 Highlight」と記されています。 この記事では、論文の評価表で何ができるかを確かめたうえで、無料デモとローカル実行の試し方、fal.aiのAPIの提供状況、公式スクリプトが読み込む重みの容量から見た必要VRAM、ベースモデル由来の商用利用の制約、後継DreamOmni3の公開状況を、公式リポジトリと配布ファイルを直接読んで整理します。 ## まとめ：DreamOmni2の要点 - **何ができるか**：参照画像に写った人物・物体（具体物）だけでなく、素材感・画風・メイク・髪型・ポーズ（抽象属性）を別の画像へ移せる。編集用と生成用でLoRAが分かれている。 - **中身**：FLUX.1 Kontext \[dev\]にLoRAを追加学習し、指示文の書き換えをQwen2.5-VL 7Bの微調整版が担う3部構成。 - **試し方**：手軽なのはHugging FaceのSpace（無料・編集用と生成用）。fal.aiの編集API（1枚0.05ドル）はモデルページで非推奨・サポート終了と表示されており、新規の組み込みには勧めない。ローカルの公式スクリプトは約52GBの重みをすべてGPUに載せるため、24〜32GBのGPUではそのままでは動かない。 - **商用利用**：DreamOmni2のLoRAとコードはApache-2.0だが、土台のFLUX.1 Kontext \[dev\]は非商用ライセンス。自前のGPUで本番運用するならBlack Forest Labsの商用ライセンスが別途要る。 - **後継**：DreamOmni3（落書きで領域を指定する編集・生成）は論文とベンチマークのみ公開で、2026年11月時点で重みと推論コードは未公開。DreamOmni2のLoRA学習コードも未公開。 ## 公式の入手先と、似た名前のサイト・製品の見分け方 DreamOmni2の公式配布物は、論文・GitHub・Hugging Faceの3系統にまとまっています。検索結果には「dreamomni」を名乗る独自ドメインのWebサービスが複数出てきますが、公式READMEから張られているのは下表のURLだけです。 | 配布物 | 場所 | 公開日 | | --------------- | ----------------------------------------------------------------------------------------------------------------------------------------------- | ---------- | | 論文 | [arXiv 2510.06679](https://arxiv.org/abs/2510.06679) | 2025-10-08 | | コード（Apache-2.0） | [GitHub JIA-Lab-research/DreamOmni2](https://github.com/JIA-Lab-research/DreamOmni2) | 2025-10-10 | | 重み（Apache-2.0） | [Hugging Face xiabs/DreamOmni2](https://huggingface.co/xiabs/DreamOmni2) | 2025-10-10 | | ベンチマーク | [Hugging Face xiabs/DreamOmni2Bench](https://huggingface.co/datasets/xiabs/DreamOmni2Bench) | 2025-10-10 | | デモ | [DreamOmni2-Edit](https://huggingface.co/spaces/wcy1122/DreamOmni2-Edit)・[DreamOmni2-Gen](https://huggingface.co/spaces/wcy1122/DreamOmni2-Gen) | 2025-10-10 | GitHubのリポジトリは当初dvlab-research配下にあり、現在はJIA-Lab-research配下へ移っています（旧URLは転送されます）。dreamomni.com・dreamomni.net・dreamomni2.proなどは公式READMEに記載がなく、裏で同じモデルが動いているかを確認できません。画像をアップロードする前に、運営者と利用規約を確かめてください。 名前の似たLumaの「Dream Machine」は動画生成サービスで、DreamOmni2とは開発元も用途も無関係です。動画生成の選択肢を探しているなら[Runwayの解説記事](/tech/details/15840/)のほうが近い内容です。 ## DreamOmni2でできること：具体物と抽象属性の参照 従来の指示型編集は文章だけで指示するため、「この写真のバッグと同じ柄に」のように言葉にしにくい要素を伝えられませんでした。被写体を保つ生成（subject-driven generation）は、人物や物体という具体物の組み合わせに限られていました。DreamOmni2の論文は、この2つを「マルチモーダル指示による編集」「マルチモーダル指示による生成」という新しいタスクとして定義し直しています。 ### 編集モード：元画像の非編集領域の保持 編集は、1枚目の画像の大部分をそのまま残し、指示した箇所だけを参照画像に合わせて変えるモードです。2枚の写真を1枚に合成する用途はこちらに当たります。公式READMEは「学習データの形式上、編集したい画像を必ず1枚目に置く」と明記しています。たとえば1枚目に道路の写真、2枚目に人物の写真を渡し、「2枚目の女性を1枚目の道路に立たせる」と指示します。出力サイズは1枚目の画像の縦横比に近いKontext推奨解像度（672×1568〜1568×672の17種類）に丸められます。 ### 生成モード：参照人物・属性の継承と構図の再生成 生成は、参照画像の人物や属性だけを引き継ぎ、構図ごと描き直すモードです。READMEの例では、2人の人物写真を渡して「宇宙船の中で握手させる」と指示し、1024×1024で出力しています。編集と違って元画像の背景は保たないので、同じ人物を別の場面に置きたいときはこちらを使います。論文によると、指示文だけでは利用者が編集と生成のどちらを望んでいるか判別できないため、LoRAを分けて学習し、選択を利用者に委ねています。 ## 仕組み：FLUX.1 Kontext＋LoRA＋Qwen2.5-VLの3部構成 DreamOmni2は新しい基盤モデルを一から学習したものではありません。Black Forest LabsのFLUX.1 Kontext \[dev\]（[FLUX系列の比較記事](/tech/details/11352/)で扱う画像編集モデルの前世代）にLoRAを追加学習したものです。公式スクリプトは次の順で処理します。 1. 微調整済みのQwen2.5-VL 7Bが、入力画像と指示文を読んで、Kontextが解釈しやすい定型の指示文へ書き換える。 2. 入力画像をKontext推奨解像度にリサイズする。 3. 編集用または生成用のLoRAを読み込んだKontextが、30ステップ・guidance 3.5で画像を出力する。 Kontextは本来1枚の入力画像しか扱えません。複数枚を区別するため、DreamOmni2は位置エンコーディングに「何枚目の画像か」を示すインデックス符号を加え、さらに前の画像のサイズ分だけ位置をずらしています。論文のアブレーション（表5）では、両方を外すと編集（具体物）の成功率が0.2439、両方入れると0.6585で、位置のずらしが無いと参照画像をそのまま貼り付けたような出力が増えると説明しています。LoRAの仕組みそのものは[LoRAの解説記事](/tech/details/8963/)にまとめています。 ## ベンチマーク結果と、数字を読むときの注意 論文は独自のDreamOmni2ベンチマーク（実写画像・編集205件・生成114件）で成功率を測っています。判定はGemini・Doubao（ByteDanceのモデル）による自動評価と、専門エンジニアによる人手評価の3通りです。編集タスク（表2）の結果を抜粋します。 | モデル | 具体物 Gemini | 具体物 人手 | 抽象属性 Gemini | 抽象属性 人手 | | -------------------- | ---------- | ------ | ----------- | ------- | | GPT-4o | 0.6829 | 0.5610 | 0.7195 | 0.5793 | | Nano Banana | 0.6829 | 0.5366 | 0.6463 | 0.3293 | | DreamOmni2 | 0.5854 | 0.6098 | 0.5854 | 0.6829 | | Qwen-Image-Edit-2509 | 0.2683 | 0.2195 | 0.0488 | 0.0427 | | OmniGen2 | 0.2195 | 0.2927 | 0.0427 | 0.0305 | | FLUX.1 Kontext | 0.0488 | 0.0976 | 0.0183 | 0.0122 | 比較したオープンなモデルの中では大差で首位です。商用モデルとは、編集のGemini評価でGPT-4oとNano Banana（[現行のNano Banana 2](/tech/details/11135/)の初代）を下回り、人手評価では両方を上回っています。生成タスク（表3）のGemini評価は、具体物でDreamOmni2 0.5833・GPT-4o 0.6250・Nano Banana 0.5000、抽象属性で0.5778・0.6889・0.5556で、GPT-4oには届かずNano Bananaを上回る位置です。読むときは次の3点を割り引いてください。 - **母数が小さい**：編集205件の内訳は具体物41件・抽象属性164件、生成114件は24件・90件です。具体物の編集では1件の差が約2.4ポイントになります。 - **作成者自身のベンチマーク**：比較相手の多くは参照画像の抽象属性を移す用途を想定して作られていません。Kontextは複数画像の入力に標準で対応しないため、論文はDiffusersの方法で複数画像を1枚に結合して評価しています。この入力条件の違いを含む比較なので、低い成功率の原因を表だけで特定することはできません。 - **生成表の人手評価列**：表3の人手評価列は、表2（編集）と9行すべて同じ値です。0.5610（23/41）のように母数24件では出ない値も含むため、転記の誤りの可能性があります。2026年に公開された[CVPR 2026の採択版PDF](https://openaccess.thecvf.com/content/CVPR2026/papers/Xia%5FDreamOmni2%5FMultimodal%5FInstruction-based%5FGeneration%5Fand%5FEditing%5FCVPR%5F2026%5Fpaper.pdf)でも同じ値のままで、arXivも第1版から更新されていません。生成の人手評価は判断材料から外すのが安全です。 ## ブラウザで試す：Hugging Face Spaceとfal.aiのAPIの現状 手元にGPUが無い場合、2026年11月時点で挙動を確かめられる公式の経路はHugging FaceのSpaceです。推論APIのfal.aiにも提供実績がありますが、現在は非推奨の扱いです。 ### Hugging Face Space：無料デモの操作と利用枠 公式READMEが案内する2つのSpaceは、2026年11月8日時点でどちらもZeroGPU（[Hugging Face](/tech/details/6108/)の共有GPU枠）で稼働中です。 - **wcy1122/DreamOmni2-Edit**：編集モード。1枚目に編集対象、2枚目以降に参照画像を入れる。 - **wcy1122/DreamOmni2-Gen**：生成モード。参照画像と指示文から新しく描く。 ZeroGPUはアカウント種別ごとにGPU利用時間の枠があり、混雑時は待たされます。READMEの指示文の例はすべて英語で、日本語の指示が通るかは公式に記載がないため、まず英語で書くと公式例と条件をそろえられます。 ### fal.aiの編集API：非推奨化と掲載料金 fal.aiは2025年10月10日からDreamOmni2の編集モードを`fal-ai/dreamomni2/edit`として提供していました。[モデルページ](https://fal.ai/models/fal-ai/dreamomni2/edit)には1枚0.05ドル（10枚で0.50ドル）の料金が残っていますが、2026年11月8日の確認時点で「This endpoint is deprecated」「This model is no longer supported」と表示されています。入力は画像URLの配列`image_urls`と指示文`prompt`、任意の`enable_safety_checker`の3つで、ステップ数や出力サイズは指定できず、生成モードのエンドポイントはありません。サポートが終わったエンドポイントを新しく業務に組み込むのは避け、APIで画像編集を試すなら現行の商用モデル（下の選び分けの表）を当たるほうが確実です。 ## ローカルで動かす手順 公式スクリプトはCUDA（またはHuaweiのAscend NPU）前提で、デバイスを`"cuda"`に固定しています。Apple Silicon・Intel MacやCPUのみの環境では、スクリプトを書き換えない限り動きません。 ### 環境構築と重みのダウンロード READMEの`huggingface-cli download`は、huggingface\_hub 1.0.0でコマンド自体が削除されました（2026年11月時点の最新は2.4.0）。今から環境を作るなら`hf`コマンドを使います。ベースのFLUX.1 Kontext \[dev\]はHugging Face上でライセンス同意が必要なゲート付きモデルなので、先にモデルページで同意し、ログインしておきます。 ``` git clone https://github.com/JIA-Lab-research/DreamOmni2 cd DreamOmni2 pip install -r requirements.txt # FLUX.1-Kontext-dev のページでライセンスに同意してからログイン hf auth login # DreamOmni2 の LoRA 2種と VLM（合計19.47GB）を ./models へ hf download xiabs/DreamOmni2 --local-dir ./models ``` Kontext本体はスクリプトの初回実行時に`black-forest-labs/FLUX.1-Kontext-dev`から自動で取得されます。`requirements.txt`は10個のパッケージをすべて版指定なしで並べており、issue #25には最新のtransformersで`ImportError: cannot import name 'FLAX_WEIGHTS_NAME'`が出たという報告があります。issueには動作する版の組み合わせが示されていないので、エラーに関係するパッケージの互換性を確認し、動いた環境は`pip freeze`で固定しておきます。 ### 編集と生成の実行コマンド READMEのコマンドは`/mnt/bn/unifygen/...`という開発者の社内パスから始まるため、そのまま貼ると「ファイルが無い」で止まります。リポジトリ直下から相対パスで実行します。 ``` # 編集：編集したい画像を1枚目に置く python3 inference_edit.py \ --input_img_path example_input/edit_tests/src.jpg example_input/edit_tests/ref.jpg \ --input_instruction "Make the woman from the second image stand on the road in the first image." \ --output_path example_input/edit_tests/edit_res.png # 生成：出力サイズを --height / --width で指定（既定 1024） python3 inference_gen.py \ --input_img_path example_input/gen_tests/img1.jpg example_input/gen_tests/img2.jpg \ --input_instruction "The character from the first image and the character from the second image shake hands inside a spaceship." \ --output_path example_input/gen_tests/gen_res.png \ --height 1024 --width 1024 ``` ブラウザUIで使うなら`web_edit.py`・`web_generate.py`をGradioサーバーとして起動できます（READMEの例ではポート7860・7861）。ただしGradioは`requirements.txt`に含まれないので別途`pip install gradio`が要ります。また重みの既定パスが`vlm-model`・`edit_lora`のようにリポジトリ直下を指すため、上の手順で`./models`へ保存した場合は`--vlm_path ./models/vlm-model`と`--edit_lora_path`（生成は`--gen_lora_path`）を指定します。ここに載せたコマンドは公式READMEとスクリプトの引数定義から組み立てたものです。 ## 必要VRAMとファイル容量 公式READMEに必要VRAMの記載はありません。公式スクリプトはKontext本体・テキストエンコーダ・VLMをbf16のままGPUへ載せ、CPUオフロードも量子化もしません。そのため配布ファイルの容量が必要VRAMの下限の目安になります（実行時は推論中の中間データが加わります）。Hugging Faceの配布ファイルの容量は次のとおりです。 | 構成要素 | 配布元 | 容量（bf16） | | ---------------------- | ------------------ | -------- | | Kontext本体（transformer） | FLUX.1-Kontext-dev | 23.80GB | | T5・CLIPテキストエンコーダ | FLUX.1-Kontext-dev | 9.77GB | | VAE | FLUX.1-Kontext-dev | 0.17GB | | VLM（Qwen2.5-VL 7B微調整） | xiabs/DreamOmni2 | 16.58GB | | LoRA（編集・生成 各1本） | xiabs/DreamOmni2 | 1.44GB×2 | 1回の実行で読むのはLoRA 1本なので、合計は約51.8GBです。GitHubのissueでも、RTX 5090（32GB）でVLMを外しても`CUDA out of memory`になった報告（#8）と、Gradio版で約50〜53GBを使った報告（#24）が上がっています。開発者はissue上で「bf16なら約20GB」と答えていますが、公式スクリプトの構成とは合いません。 - **そのまま動かす**：A100・H100の80GBクラス。48GB以下のGPUでは、VLM（16.6GB）とKontext側（約35GB）を別々のGPUへ分けるか、VLMをCPUへ載せるようスクリプトを書き換えます。issue #8には、48GBのGPUでKontextだけをGPUに載せ、VLMをCPUへ移して生成できた（ただし低速）という報告があります。手元に無ければ[Runpod等のGPUクラウド](/tech/details/9628/)を時間単位で借りるのが現実的です。 - **24〜32GBで動かす**：公式ではなくコミュニティのComfyUIノードを使います。HM-RunningHub/ComfyUI\_RH\_DreamOmni2はKontext本体のINT8量子化とCPUオフロードを自動で行い、READMEの要件はVRAM 18GB以上、メインメモリは64GB以上を推奨しています。swan7-py/ComfyUI-VLM-DreamOmni2はVLM側をint4・int8に量子化するノードで、LoRAはComfyUI標準のKontextに読ませます。開発者もissue #17でこの2つを案内しています。 ## 商用利用とライセンス：LoRAはApache-2.0、土台は非商用 DreamOmni2のコード・LoRA・VLMはApache-2.0ですが、推論には必ずFLUX.1 Kontext \[dev\]を使います。こちらは「FLUX.1 \[dev\] Non-Commercial License v1.1.1」で、モデルの利用・改変・再配布を非商用目的に限っています。ライセンス本文は、収益を生む活動での利用や、エンドユーザーと直接やり取りする用途を非商用に含めないと定めています。 一方で、非商用目的の定義には「営利企業による非本番環境での試験・評価・非商用の研究開発」が含まれています。社内で画質や挙動を検証する段階なら、このライセンスの範囲で動かせます。 生成物（Outputs）は商用を含むあらゆる目的に使えるとする条項がありますが、生成物をFLUX.1 \[dev\]・Kontext \[dev\]と競合するモデルの学習に使うことは禁止されています。違法・権利侵害コンテンツを防ぐフィルタを導入・維持するか、公開・非公開を問わず生成物を配布・表示・送信する前に違法性や権利侵害を確認すること、法令が求める範囲でAI生成・加工の表示を付けることも利用条件です（第2条e）。自前のGPUで自社サービスに組み込む、受託制作に使うといった本番運用には、Black Forest Labs（bfl.ai）の商用ライセンスが要ります（出典：[FLUX.1 \[dev\] Non-Commercial License v1.1.1](https://github.com/black-forest-labs/flux/blob/main/model%5Flicenses/LICENSE-FLUX1-dev)）。ローカル実行で商用まで含めて自由に使える編集モデルを探しているなら、Apache-2.0の[Qwen-Image-Edit-2509](/tech/details/8966/)が候補になります。 ## 他の画像編集モデルとの選び分け DreamOmni2を選ぶ理由は「参照画像の抽象属性（素材・画風・メイク）を移す」点に絞られます。それ以外の用途では、より新しいモデルや商用APIのほうが扱いやすい場面が多くあります。 | 用途 | 向いている選択肢 | 理由 | | -------------- | ----------------------- | --------------- | | 画風・質感を参照画像から移す | DreamOmni2 | 抽象属性の人手評価0.6829 | | 手軽さ・API運用 | Nano Banana 2・GPT Image | GPU不要・従量課金 | | ローカル・商用可 | Qwen-Image-Edit系 | Apache-2.0 | | 文章だけの指示で編集 | FLUX.2・Kontext本体 | LoRA不要 | DreamOmni2を採用すべきでないのは、Black Forest Labsとの商用ライセンス契約や、版が固定されていない依存ライブラリの保守を自社で担えないまま業務に組み込む場合です。公式リポジトリへの最後のpushは2026年4月11日で、論文の比較対象（2025年秋時点のモデル）より新しいQwen-Image-Edit-2511やFLUX.2とは比べられていません。LoRAの学習コードも、開発者が2025年11月20日にissue #31で「2週間以内に公開する」と答えたまま、2026年11月時点でリポジトリにありません。公式の学習コードを使って自社データで追加学習することが前提なら、現時点では採用を見送るべきです。研究・検証用に「参照画像で画風を移す」挙動を試す用途が適しています。画像生成AIを業務へ組み込む判断から相談したい場合は、当社の[生成AI導入支援](/service/ai/genai/)で用途の切り分けから支援しています。MidjourneyやStable Diffusionとの違いを含めた画像生成AI全体の選び方は[MidjourneyとStable Diffusionの比較記事](/tech/details/7619/)で扱っています。 ## 後継DreamOmni3の公開状況（2026年11月時点） 同じ筆頭著者（Bin Xia氏）による後継のDreamOmni3は、2025年12月27日にarXiv（[2512.22525](https://arxiv.org/abs/2512.22525)）で論文が公開され、2026年8月11日に第2版へ更新されました。DreamOmni2の参照画像による指示に、色付きの落書き（スクリブル）で「どこを・何に対応させるか」を指定する操作を加え、編集4種・生成3種のタスクを扱います。 2026年8月8日にプロジェクトページとベンチマーク（DreamOmni3Bench）が公開されましたが、[公式リポジトリ](https://github.com/JIA-Lab-research/DreamOmni3)のREADMEは推論コード・重み・オンラインデモを「Coming soon」としたままで、リポジトリも8月8日以降更新されていません。11月8日時点で実際に動かせるのはDreamOmni2までです。 ## よくある質問 ### DreamOmni2は無料で使えますか？ Hugging FaceのSpaceは無料アカウントでも使えますが、ZeroGPUの利用時間枠の範囲内です。重みとコードも無料で入手できます。ただし土台のFLUX.1 Kontext \[dev\]は非商用ライセンスで、企業の非本番環境での試験・評価は認められている一方、自前のGPUでの商用の本番運用には別途ライセンスが必要です。fal.aiには1枚0.05ドルの料金表示が残っていますが、編集APIは非推奨・サポート終了と表示されています。 ### DreamOmni3はもう使えますか？ 2026年11月8日時点では使えません。論文・プロジェクトページ・ベンチマークは公開済みですが、推論コードと重みは公式READMEで「Coming soon」のままです。 ### Luma AIのDream Machineと関係はありますか？ ありません。Dream MachineはLuma AIの動画生成サービスで、DreamOmni2は香港の大学とByteDanceの研究者による画像編集・生成モデルです。Hugging Face上のDreamOmni2のSpaceもLumaとは無関係です。 ### 参照画像は何枚まで入れられますか？ 公式スクリプトに枚数の上限は明記されていませんが、学習データの参照は1〜5枚です。枚数を増やすとVLMとKontextが扱うトークンが増え、VRAMと処理時間も増えます。編集モードでは編集したい画像を必ず1枚目に置きます。 ### MacやCPUだけの環境で動きますか？ 公式スクリプトのままでは動きません。デバイスがCUDA（またはAscend NPU）に固定されているためです。開発者はissueで「diffusersベースなのでMacでも動くはず」と答えていますが、コミュニティのComfyUIノードでも`Torch not compiled with CUDA enabled`で止まる報告があり、動作が確認された手順はありません。Macで試すならHugging FaceのSpaceが候補です（ZeroGPUの利用枠と稼働状況に左右されます）。 ## 関連記事 - [Qwen-Image-Edit-2509とは？使い方・必要VRAM・ComfyUI・2511/2.1との違い【2026年10月】](/tech/details/8966/) - [FLUX.2の全5モデル比較｜Flex・Max・Pro・Dev・Kleinの料金と違い、FLUX 3 Imageとの選び方【2026年10月】](/tech/details/11352/) - [Nano Banana 2（Gemini 3.1 Flash Image）とは？GA版モデルIDと料金・API実装を解説【2026年9月】](/tech/details/11135/) - [LoRA（Low-Rank Adaptation）とは？仕組み・ランクrとalphaの決め方とLoRA-Proの違い](/tech/details/8963/) - [Runpodとは？料金・使い方・支払い方法とGPUクラウドの選び方【2026年10月】](/tech/details/9628/) --- 出典: [DreamOmni2とは？画像で指示する編集・生成AIの使い方・必要VRAM・商用利用【2026年11月】]()（株式会社一創）