--- title: "DeepSeek-V3とは？671B MoEの仕組みと性能・公式API終了後の使い方" url: "https://www.issoh.co.jp/tech/details/4789/" published: 2025-01-10 updated: 2026-09-27 categories: ["LLM・RAG"] publisher: "株式会社一創" --- # DeepSeek-V3とは？671B MoEの仕組みと性能・公式API終了後の使い方 DeepSeek-V3は、中国のDeepSeekが2024年12月に公開した大規模言語モデルです。総パラメータ671Bのうち、1トークンを処理するたびに動くのは37Bだけという Mixture-of-Experts（MoE）構成を採り、当時の主要な商用モデルに並ぶ精度を公開重みで実現しました。本記事が扱うのはこの2024年12月版のV3そのものです。DeepSeekの現行最新世代はV4系に移っており、最新版の仕様と料金は[DeepSeek V4とは？Compressed Sparse Attention(CSA)の仕組みとPro/Flashの性能・料金・移行期限](/tech/details/12053/)で扱っています。2024年12月版V3を提供していた公式APIは2025年3月24日にV3-0324へ更新されました。2026年7月24日は旧APIモデル名の廃止日であり、初版V3の提供終了日ではありません。 ## まとめ：DeepSeek-V3の要点 - 総パラメータ671B、トークンあたり活性37BのMoE型LLM。コンテキスト長は128Kで、14.8Tトークンを事前学習している。 - 公式APIでは2024年12月26日に `deepseek-chat` がV3へ切り替わった。ただし同じ名前が指す中身は2025年3月のV3-0324以降つぎつぎ差し替わり、名前自体も2026年7月24日に廃止された。2026年9月23日時点の公式APIに初版V3を呼ぶ手段は無い。 - 技術報告が示す学習コストは2,788K H800 GPU時間、金額換算で5.576百万ドル。ただしこれはH800を1時間2ドルで借りた場合の仮定値で、事前研究とアブレーション実験の費用は含まない。 - 重みはHugging Faceに残っており、自前ホスティングなら今も使える。ただし配布重みは約689GBあり、80GB GPU1枚に全量を載せることはできない。 - DeepSeek-R1は、V3と共通のDeepSeek-V3-Baseを土台に、教師あり学習と強化学習で推論力を伸ばした別モデル。重みのライセンスはV3がDeepSeek独自契約、R1がMITと異なる。 ## DeepSeek-V3の基本仕様と公開時期 まず数字を押さえます。以下は[公式リポジトリのREADME](https://github.com/deepseek-ai/DeepSeek-V3)、Hugging Faceのモデルカード、技術報告[arXiv:2412.19437](https://arxiv.org/abs/2412.19437)から拾った値です。料金と更新履歴は、DeepSeek API公式の[Models & Pricing](https://api-docs.deepseek.com/quick%5Fstart/pricing)と[Change Log](https://api-docs.deepseek.com/updates)を参照しています。 | 項目 | 内容 | | -------------- | --------------------------------------------- | | 開発元 | DeepSeek（中国） | | モデル形式 | Mixture-of-Experts（MoE） | | 総パラメータ | 671B | | トークンあたり活性パラメータ | 37B | | コンテキスト長 | 128K | | 事前学習トークン数 | 14.8T | | 学習計算量 | 2,788K H800 GPU時間 | | 重みの精度 | FP8（BF16への変換スクリプトを同梱） | | Hugging Face公開 | deepseek-ai/DeepSeek-V3（2024年12月25日作成） | | 公式APIへの投入 | 2024年12月26日 | | 技術報告 | arXiv:2412.19437（2024年12月27日投稿、2025年2月18日にv2） | | コードのライセンス | MIT | | 重みのライセンス | DEEPSEEK LICENSE AGREEMENT Version 1.0 | Hugging Face上の合計パラメータが685Bと書かれている資料がありますが、これは本体671Bに Multi-Token Prediction モジュールの14Bを足した数です。公式READMEも「The total size of DeepSeek-V3 models on Hugging Face is 685B, which includes 671B of the Main Model weights and 14B of the Multi-Token Prediction (MTP) Module weights.」と注記しています。推論で常時使うのは本体側なので、モデル規模を語るときは671Bを採るのが正確です。 ## 671B MoEを成立させた4つの設計 V3の技術的な中身は、大きさそのものではなく「671Bを37Bぶんの計算量で回す」ための工夫に寄っています。技術報告が主要な貢献として挙げているのは次の4点です。 ### MLA：KVキャッシュを圧縮するアテンション Multi-head Latent Attention（MLA）は、キーとバリューを低次元の潜在ベクトルに落としてから保持する方式です。長い文脈を扱うほど推論時のKVキャッシュがメモリを圧迫しますが、MLAはここを削ることで128Kの文脈長を現実的なコストに収めます。V3の独自発明ではなく、前世代のDeepSeek-V2で検証済みの構造をそのまま引き継いでいます。 ### DeepSeekMoEと補助損失フリーの負荷分散 MoEでは、特定のエキスパートに入力が偏ると学習が不安定になります。従来は偏りを罰する補助損失を足して均していましたが、この補助損失自体がモデルの精度を削るという副作用がありました。V3は主な負荷分散をルーティングのバイアス調整で行います。技術報告の表現では「we pioneer an auxiliary-loss-free strategy for load balancing, which minimizes the performance degradation that arises from encouraging load balancing」です。ただし補助損失を全廃したわけではありません。同じ技術報告は「Although DeepSeek-V3 mainly relies on the auxiliary-loss-free strategy for load balance, to prevent extreme imbalance within any single sequence, we also employ a complementary sequence-wise balance loss」と書いており、シーケンス単位の偏りを抑える補助損失を係数を絞って併用しています。バッチ単位の偏りはルーティング側で、シーケンス単位の偏りは損失側で抑える、という役割分担がV3の設計です。 ### MTPによる複数トークン予測と推論への応用 学習時に次の1トークンだけでなく複数トークン先も予測させる目的関数です。学習信号が密になるぶん精度が上がり、推論側では投機的デコードの下地にもなります。前述のとおり重みは本体とは別に14Bぶん配布されており、推論エンジン側の対応は公開当初コミュニティ任せでした。 ### FP8混合精度学習による計算・メモリ負担の削減 V3は超大規模モデルでFP8学習が実用になることを最初に示した例です。技術報告は「We design an FP8 mixed precision training framework and, for the first time, validate the feasibility and effectiveness of FP8 training on an extremely large-scale model.」と書いています。配布されている重みもFP8のままで、BF16が必要な場合は同梱の `fp8_cast_bf16.py` で変換する手順が示されています。学習コストの低さは、このFP8化とMoEの活性パラメータの少なさが効いた結果です。 ## ベンチマークで見る性能と、比較対象の前提 公式READMEが載せているチャットモデルの比較結果から、意図の分かれやすい項目を抜き出します。評価は出力長を8Kに制限した条件で実施されたものです。 | ベンチマーク | DeepSeek-V3 | GPT-4o 0513 | Claude-3.5-Sonnet-1022 | Llama3.1 405B-Inst. | | ----------------------- | ----------- | ----------- | ---------------------- | ------------------- | | MMLU (EM) | 88.5 | 87.2 | 88.3 | 88.6 | | MMLU-Pro (EM) | 75.9 | 72.6 | 78.0 | 73.3 | | GPQA-Diamond (Pass@1) | 59.1 | 49.9 | 65.0 | 51.1 | | MATH-500 (EM) | 90.2 | 74.6 | 78.3 | 73.8 | | AIME 2024 (Pass@1) | 39.2 | 9.3 | 16.0 | 23.3 | | Codeforces (Percentile) | 51.6 | 23.6 | 20.3 | 25.3 | | SWE Verified (Resolved) | 42.0 | 38.8 | 50.8 | 24.5 | | SimpleQA (Correct) | 24.9 | 38.2 | 28.4 | 17.1 | 数学とコンテスト系コーディングでの差が際立ちます。MATH-500で90.2、AIME 2024で39.2、Codeforcesのパーセンタイルで51.6と、比較対象を大きく引き離しました。一方で届いていない項目もあります。英語の短文事実質問を測るSimpleQAはGPT-4oの38.2に対して24.9、実リポジトリの課題解決を測るSWE VerifiedはClaude-3.5-Sonnetの50.8に対して42.0です。ただしこれを「知識が弱い」と一般化すると誤ります。技術報告は「While it trails behind GPT-4o and Claude-Sonnet-3.5 in English factual knowledge (SimpleQA), it surpasses these models in Chinese factual knowledge (Chinese SimpleQA)」と書いており、中国語版のC-SimpleQAではV3の64.8がGPT-4oの59.3を上回ります。事実知識の強弱は言語によって逆転するので、どの言語で測った数字かまで見る必要があります。 もうひとつ前提として重要なのは、この表の比較対象が2024年末時点のモデルだという点です。GPT-4o 0513もClaude-3.5-Sonnet-1022もリリースから相当な時間が経っています。「V3はGPT-4o級」という評価は2024年12月の相場での話であり、2026年時点の商用モデルとの比較には使えません。 ## 学習コスト5.576百万ドルが含んでいないもの V3の技術報告は、学習コストの低さを主要な特徴の一つとして挙げています。Table 1が示す内訳は次のとおりです。 | 段階 | H800 GPU時間 | 金額換算 | | ----- | ---------- | --------- | | 事前学習 | 2,664K | 5.328百万ドル | | 文脈長拡張 | 119K | 0.238百万ドル | | 事後学習 | 5K | 0.01百万ドル | | 合計 | 2,788K | 5.576百万ドル | この金額を引用するときは、必ず2つの但し書きを添えるべきです。1つ目は為替ではなく単価の仮定で、表の脚注は「assuming the rental price of H800 is $2 per GPU hour」と明記しています。実際にDeepSeekが支払った額ではなく、レンタル単価を置いた換算値です。 2つ目のほうが重要です。技術報告は本文で「Note that the aforementioned costs include only the official training of DeepSeek-V3, excluding the costs associated with prior research and ablation experiments on architectures, algorithms, or data.」と断っています。つまり5.576百万ドルは最終的な学習ランのみの数字で、アーキテクチャやデータの試行錯誤にかかった費用は一切入っていません。「数百億円のモデルが7億円で作れた」という形の比較は、この除外部分を無視しています。この数字だけで自社の開発予算を見積もると、事前研究や試行錯誤に必要な費用を計上できません。 ## DeepSeek-V3とDeepSeek-R1の違い V3とR1は、共通の基盤モデルから異なる事後学習で枝分かれした別モデルです。R1のREADMEは「DeepSeek-R1-Zero & DeepSeek-R1 are trained based on DeepSeek-V3-Base.」と書いています。総パラメータ671B、活性37B、コンテキスト長128Kという骨格は両者で共通です。 違うのは学習の後半と用途です。R1-Zeroは教師ありファインチューニングを挟まず、ベースモデルにいきなり強化学習を当てて推論能力を引き出した実験系です。この方式は繰り返しや可読性の低下、言語の混在といった問題を抱えたため、それを直したものがR1として公開されました。V3は汎用の対話モデル、R1は思考過程を長く出す推論特化モデル、という住み分けになります。公式APIでも入口が分かれており、V3は `deepseek-chat`、R1は2025年1月20日から `deepseek-reasoner` に割り当てられていました。 実務で効いてくる差がライセンスです。R1はコードと重みの両方がMITライセンスですが、V3の重みはDeepSeek独自のライセンス契約に置かれています。次章で扱います。 ## 公式APIから外れたDeepSeek-V3を、今動かす方法 ### 公式APIのV3提供終了と現行モデル 2026年9月23日時点でDeepSeekの公式APIが提供しているモデルは `deepseek-flash`（DeepSeek-V4.1-Flash）と `deepseek-v4-pro`（DeepSeek-V4-Pro-0813）の2本だけです。かつてV3を指していた `deepseek-chat` は、2025年3月24日のV3-0324を皮切りにV3.1、V3.2と中身が差し替わり、2026年4月24日のV4公開時点ではV4-Flashを指していました。3か月の猶予を経て、`deepseek-chat` と `deepseek-reasoner` という名前自体が2026年7月24日に廃止されています。旧コードのモデル名をそのまま投げても、初版V3が返ってくることはありません。現行の価格は以下のとおりです。 | モデル名 | 実体 | 入力（キャッシュミス・オフピーク/ピーク） | 出力（オフピーク/ピーク） | | --------------- | -------------------- | --------------------- | ------------- | | deepseek-flash | DeepSeek-V4.1-Flash | 0.15/0.3ドル | 0.6/1.2ドル | | deepseek-v4-pro | DeepSeek-V4-Pro-0813 | 0.66/1.32ドル | 1.98/3.96ドル | 単価は100万トークンあたりです。ピーク帯は月曜から金曜のUTC 01:00から04:00と06:00から10:00で、中国の祝日は除かれます。それ以外はすべてオフピークとなり、ピーク価格の半額です。日本時間のピーク帯は月曜から金曜の10〜13時と15〜19時です（中国の祝日を除く）。19時以降の夜間はオフピークになります。 ### 公開重みの入手先とGPUメモリ要件 APIから消えてもモデルが消えたわけではありません。Hugging Faceの `deepseek-ai/DeepSeek-V3` は現在も公開されています。ただし自前で動かす場合の要件は軽くありません。Hugging Faceのモデルカードでは、safetensorsに含まれるパラメータは約685Bで、FP8のほかにBF16とFP32のテンソルも含まれます。大半がFP8（1パラメータ1バイト）なので、バイト換算した重みの実体は約689GBです。80GBのGPUに全量を載せることはできません。量子化してCPUメモリへ逃がす構成なら話は別で、KTransformersはQ4\_K\_M版の671BモデルをVRAM 14GBとDRAM 382GBで動かした例を公開しています。 以下は公式READMEの2ノード16GPU向け起動例です。依存関係の導入、デモ形式への重み変換、inferenceディレクトリへの移動、各ノードのRANKとマスターノードのADDRの設定が必要です。 ``` torchrun --nnodes 2 --nproc-per-node 8 --node-rank $RANK --master-addr $ADDR \ generate.py --ckpt-path /path/to/DeepSeek-V3-Demo \ --config configs/config_671B.json --interactive --temperature 0.7 --max-new-tokens 200 ``` READMEが名前を挙げている推論スタックは、DeepSeek-Infer Demo、SGLang、LMDeploy、TensorRT-LLM、vLLM、LightLLMの6系統に加え、SGLang経由でのAMD GPU対応と、MindIEによるHuawei Ascend NPU対応（BF16版）です。配布されているのはFP8重みのみなので、BF16で動かしたい場合は同梱の変換スクリプトを先に通す必要があります。 ### V3とV3-0324のライセンスの相違 ここは取り違えの多い箇所です。リポジトリのコードはMITですが、V3の重みに適用されるのは別ファイルの「DEEPSEEK LICENSE AGREEMENT Version 1.0」（2023年10月23日版）です。READMEは「This code repository is licensed under the MIT License. The use of DeepSeek-V3 Base/Chat models is subject to the Model License. DeepSeek-V3 series (including Base and Chat) supports commercial use.」と書いており、商用利用そのものは認められています。ただしMITと同じ扱いではなく、この契約が定める利用制限条項に従う必要があります。 一方、2025年3月24日に公開された更新版の `deepseek-ai/DeepSeek-V3-0324` は、Hugging Face上のライセンス表記がMITです。同じ「V3」でも、初版と0324版でライセンスが違います。社内で利用可否を判断するときは、版のタグまで確認してください。R1がMITであることも合わせると、DeepSeekのモデルを一括で「MITだから自由に使える」と扱うのは危険です。 ## V3から現行V4.1-Flashまでの版の推移 V3の位置づけを正しく掴むには、その後の更新履歴を時系列で見るのが早道です。以下はDeepSeek API公式のChange Logに載っている日付です。 | 日付 | 出来事 | | ----------- | ----------------------------------- | | 2024年12月26日 | deepseek-chat がDeepSeek-V3へ | | 2025年1月20日 | deepseek-reasoner がDeepSeek-R1へ | | 2025年3月24日 | DeepSeek-V3-0324（重みはMIT） | | 2025年8月21日 | DeepSeek-V3.1 | | 2025年9月22日 | DeepSeek-V3.1-Terminus | | 2025年9月29日 | DeepSeek-V3.2-Exp | | 2025年12月1日 | DeepSeek-V3.2 | | 2026年4月24日 | DeepSeek-V4（V4-Pro/V4-Flash） | | 2026年7月24日 | deepseek-chat/deepseek-reasoner を廃止 | | 2026年8月13日 | DeepSeek-V4-Pro-0813 | | 2026年8月21日 | DeepSeek-V4-Flash-Vision-Exp | | 2026年9月10日 | DeepSeek-V4.1-Flash | 各世代の中身は個別に整理しています。エージェント用途への舵を切った世代は[DeepSeek V3.1とは？エージェント時代を拓く最新AIモデルの全貌を徹底解説し、その魅力に迫る](/tech/details/9003/)、スパースアテンション（DSA）を入れた世代は[DeepSeek-V3.2とは？V3.2-Speciale・DSAの仕組みと性能・使い方・料金を徹底解説](/tech/details/10128/)が対応します。これから新規に採用を検討する場合、比較すべきはV3ではなく現行のV4系です。 ## よくある質問 ### DeepSeek-V3の料金はいくらですか？ 2026年9月23日時点で、公式APIにDeepSeek-V3を指すモデル名は存在しないため、V3固有の公式価格も提供されていません。公式API経由で使えるのは `deepseek-flash` と `deepseek-v4-pro` で、100万トークンあたり入力はキャッシュヒット時0.003ドルから、キャッシュミス時0.15ドルから、出力は0.6ドルから（いずれもオフピーク）です。V3そのものを使う場合は、自前ホスティングのGPU費用が実質的なコストになります。 ### DeepSeek-R1とV3の違いは何ですか？ R1はDeepSeek-V3-Baseを土台に、教師あり学習と強化学習を組み合わせた事後学習で推論力を伸ばした別モデルです。671B、活性37B、コンテキスト長128Kという構成は共通で、違うのは学習の後半と用途、そしてライセンスです。R1はコードと重みの両方がMITですが、V3の重みはDeepSeek独自のライセンス契約に置かれています。 ### DeepSeek-V3はどこの国のモデルですか？ 中国のDeepSeekが開発しました。重みはHugging Faceで公開されており、自前のインフラで動かせば推論内容が同社のサーバーを経由することはありません。公式APIやチャットアプリを使う場合は、事業者所在地とデータの取り扱いを社内規程に照らして判断してください。 ### DeepSeek-V3は商用利用できますか？ できます。公式READMEは「DeepSeek-V3 series (including Base and Chat) supports commercial use.」と明記しています。ただし適用されるのはMITではなくDEEPSEEK LICENSE AGREEMENT Version 1.0で、同契約が定める用途制限に従う必要があります。2025年3月公開のV3-0324はHugging Face上の表記がMITで条件が異なるため、使う版のライセンスを個別に確認してください。 ### DeepSeek-V3をGPU1枚で動かせますか？ 配布されているFP8重みは約689GBあり、80GBクラスのGPU1枚に全量を載せることはできません。公式リポジトリの推論デモも2ノード16GPUを前提としたコマンドを示しています。ただし、4bit量子化とCPUメモリへのオフロードを組み合わせる構成なら、GPU1枚でも動きます。KTransformersはQ4\_K\_M版をVRAM 14GBとDRAM 382GBで走らせた例を公開しています。この規模のシステムメモリを用意できないなら、V3本体ではなくR1から蒸留された小型の密モデルを選ぶのが現実的です。 ## 関連記事 - [DeepSeek V4とは？Compressed Sparse Attention(CSA)の仕組みとPro/Flashの性能・料金・移行期限](/tech/details/12053/) - [DeepSeek-V3.2とは？V3.2-Speciale・DSAの仕組みと性能・使い方・料金を徹底解説](/tech/details/10128/) - [DeepSeek V3.1とは？エージェント時代を拓く最新AIモデルの全貌を徹底解説し、その魅力に迫る](/tech/details/9003/) - [DeepSeekMathとは？V2の自己検証の仕組みとIMO 2025実績・2024年版7Bとの違い](/tech/details/10022/) - [DeepSeek-OCRとは何か？次世代OCR技術の概要と光学的圧縮コンセプト](/tech/details/9455/) --- 出典: [DeepSeek-V3とは？671B MoEの仕組みと性能・公式API終了後の使い方]()（株式会社一創）