18 人が閲覧(直近 30 日) LLM・RAG

Qwen3-Next-80B-A3Bとは|必要VRAMとvLLM・SGLang・llama.cpp・Ollamaでの動かし方、Coder-Nextとの違い

Qwen3-Next-80B-A3Bとは|必要VRAMとvLLM・SGLang・llama.cpp・Ollamaでの動かし方、Coder-Nextとの違い

Qwen3-Next-80B-A3Bは、AlibabaのQwenチームが2025年9月10日に公式ブログで発表したオープンウェイトのLLMです。総パラメータは80B、1トークンあたりに動くのは3Bだけで、ライセンスはApache 2.0です。注意機構の4分の3を線形注意のGated DeltaNetに置き換えた「ハイブリッド注意」と、512個のエキスパートを持つ超疎なMoEを組み合わせています。

この記事では、Hugging Faceのモデルカードとconfig.json、vLLM・SGLang・llama.cpp・Ollamaの公式リポジトリから取った数値で、仕様、必要メモリ、推論エンジンごとの起動手順、後継モデルとの関係を整理します。版番号と料金は2026年11月7日に確認したものです。

まとめ:Qwen3-Next-80B-A3Bの要点(2026年11月時点)

  • 構成:48層のうち36層がGated DeltaNet、12層が通常の注意機構(Gated Attention)。エキスパートは512個で、1トークンごとに10個と共有エキスパート1個が動きます。
  • モデル:Instruct(思考なし)とThinking(思考のみ)が別々に公開され、それぞれにFP8版があります。1つのモデルの中で思考モードを切り替えることはできません。
  • 必要メモリ:重みはBF16で162.7GB、FP8で82.1GB、GGUFのQ4_K_Mで48.4〜48.5GBです。KVキャッシュは12層分しかないので、262,144トークンでも1系列あたり6.0GiBです。
  • 動かし方:GPUサーバーならvLLMかSGLang、1台のPCならllama.cppかOllama、MacならMLX版です。TransformersでもMTP以外は動きますが、モデルカードは速度を求めるならvLLMかSGLangを使うよう勧めています。
  • 注意点:Ollamaの qwen3-next を名前だけで指定するとThinking版が入ります。vLLMの現行版では、モデルカードにあるMTPの指定名と --rope-scaling 引数が古くなっています。
  • API:Alibaba Cloud Model Studioでの提供は2026年10月10日に終わりました。いまAPIで使うならAmazon BedrockかOpenRouter(どちらもInstruct版)です。
  • いま選ぶか:コード用途なら同じ構成のQwen3-Coder-Nextを、画像入力が要るならQwen3.5以降を先に比べます。Qwen3-Nextが残るのは、Apache 2.0のテキスト専用80B級モデルで、256Kの長文を1台で読ませたい場合です。

Qwen3-Next-80B-A3Bの仕様(config.jsonの実数)

公開されている重みは4本です。Instruct版とThinking版のBF16は2025年9月10日の発表と同時に、FP8版は9月22日にHugging Faceへ追加されました。サイズはHugging Face APIで取得したリポジトリ全体の合計です。

リポジトリ モード 精度 ファイル合計
Qwen3-Next-80B-A3B-Instruct 思考なし BF16 162.7GB
Qwen3-Next-80B-A3B-Thinking 思考のみ BF16 162.7GB
Qwen3-Next-80B-A3B-Instruct-FP8 思考なし FP8 82.1GB
Qwen3-Next-80B-A3B-Thinking-FP8 思考のみ FP8 82.1GB

モデルの中身はInstruct版のモデルカードとconfig.json(model_type は qwen3_next)のとおりです。

項目 値
総パラメータ/活性パラメータ 80B/3B(safetensors上は81,324,862,720)
事前学習トークン 15兆
層数 48(Gated DeltaNet 36+Gated Attention 12)
隠れ層の次元 2,048
Gated Attention Q 16ヘッド/KV 2ヘッド・head_dim 256・RoPEは64次元のみ
Gated DeltaNet V 32ヘッド/QK 16ヘッド・head_dim 128
エキスパート 512個(ルーティング10+共有1が稼働)
コンテキスト長 262,144(YaRNで最大1,010,000)
語彙数 151,936
ライセンス Apache 2.0

Qwen3世代のMoEとの違いはエキスパートの数です。Qwen3とは?読み方・モデル一覧・72Bの有無・商用利用と動かし方で扱っているQwen3-235B-A22Bは128個から8個を選ぶ構成でした。Qwen3-Nextは512個から10個を選ぶので、ルーティングされるエキスパートの割合は6.25%から約2%に下がります。

「学習コスト10分の1」「10倍高速」が指す範囲

モデルカードの該当箇所は次の1文です。

Qwen3-Next-80B-A3B-Base outperforms Qwen3-32B-Base on downstream tasks with 10% of the total training cost and with 10 times inference throughput for context over 32K tokens.

比べているのはBaseモデル同士で、相手は密なQwen3-32Bです。10倍のスループットは「32Kトークンを超える文脈」という条件付きで、短い入力ではそこまで速くなりません。学習コストの削減率を推論コストの削減率として読み替えることもできません。

公式資料の比較相手はQwen3の各モデルとGemini-2.5-Flash-Thinkingだけで、GPT系やClaudeとの比較はありません。第三者の評価サイトArtificial Analysisのモデルページも、2026年11月7日時点でIntelligence IndexがN/Aです。以下のベンチマークは公式の自己申告の値として読んでください。

ハイブリッド注意と超疎MoEの仕組み

Gated DeltaNet 3層ごとに通常の注意機構1層

モデルカードは層の並びを「12 * (3 * (Gated DeltaNet -> MoE) -> 1 * (Gated Attention -> MoE))」と書いています。config.jsonの full_attention_interval も4で、4層ごとに1層だけ通常の注意機構が入ります。

Gated DeltaNetは、過去のトークンを固定サイズの状態に圧縮して持つ線形注意の一種です。文脈が伸びてもメモリが増えず、計算量も文脈長に比例するだけで済みます。その代わり、離れた位置の語を正確に引き出す処理は苦手です。そこを補うために、4層に1層だけKVキャッシュを持つ通常の注意機構を残しています。KVヘッドを2本に絞る仕組みはグループ化クエリアテンションとは?GQAの仕組みとKVキャッシュ削減・実装判断を解説で説明しているGQAと同じです。

KVキャッシュの実算:262,144トークンで6.0GiB

KVヘッド数・ヘッド次元・保存精度を同じにすると、12層分のKVキャッシュは、48層すべてが通常の注意機構の場合の4分の1です。config.jsonの値から計算するスクリプトです。

import json, sys

cfg = json.load(open(sys.argv[1]))
ctx = int(sys.argv[2]) if len(sys.argv) > 2 else 262144

layers = cfg["num_hidden_layers"]
full = layers // cfg["full_attention_interval"]   # 通常の注意機構の層数
linear = layers - full                            # Gated DeltaNet の層数

# KVキャッシュ(BF16=2バイト):K と V × KVヘッド数 × head_dim × 層数
kv_per_token = 2 * cfg["num_key_value_heads"] * cfg["head_dim"] * 2 * full
# Gated DeltaNet の状態(float32=4バイト):Vヘッド数 × keyの次元 × valueの次元 × 層数
state = cfg["linear_num_value_heads"] * cfg["linear_key_head_dim"] * cfg["linear_value_head_dim"] * 4 * linear

gib = 1024 ** 3
print(f"通常の注意機構 {full}層 / Gated DeltaNet {linear}層")
print(f"KVキャッシュ: {kv_per_token:,} バイト/トークン")
print(f"{ctx:,}トークンで {kv_per_token * ctx / gib:.1f} GiB(全{layers}層が通常の注意機構なら {kv_per_token * layers / full * ctx / gib:.1f} GiB)")
print(f"Gated DeltaNetの状態: {state / 1024**2:.0f} MiB(文脈長に依存しない)")

kv.pyとして保存し、公式Instructリポジトリのconfig.jsonを同じディレクトリに置いて実行した結果です。

$ python3 kv.py config.json
通常の注意機構 12層 / Gated DeltaNet 36層
KVキャッシュ: 24,576 バイト/トークン
262,144トークンで 6.0 GiB(全48層が通常の注意機構なら 24.0 GiB)
Gated DeltaNetの状態: 72 MiB(文脈長に依存しない)

32,768トークンなら0.8GiBです。KVキャッシュは同時に処理する系列数に比例して増えるので、サーバーで使うときは同時実行数を掛けて見積もります。Gated DeltaNetの72MiBは1系列分の再帰状態だけを数えた値で、畳み込み状態や推論エンジンが追加で持つ領域は含みません。

512エキスパートとMTP(複数トークン予測)

エキスパート1個の中間次元は512と小さく、それを512個並べて10個だけ動かします。活性3Bが減らすのは計算量で、メモリには全エキスパートを載せます。MoEのメモリと計算の関係はMoE(Mixture of Experts)とは?疎活性化とルーターの仕組み・VRAM要件と採用判断を実装者向けに解説にまとめています。

もう一つの追加要素がMTPです。事前学習の性能を上げるのが主目的ですが、推論時にはMTPの出力をドラフトにする投機的デコーディングにも使えます。vLLMとSGLangは対応し、Hugging Face Transformersは対応していません。仕組みはSpeculative Decoding(投機的デコーディング)とは?仕組みと速くなる条件、LM Studio・llama.cpp・vLLMでの設定を参照してください。

ベンチマーク:公式比較で勝っている項目と負けている項目

Instruct版と235B-A22Bの知識・コード・エージェント性能比較

Instruct版のモデルカードは「特定のベンチマークで235B-A22Bと同等」と主張しています。主な項目の抜き出しです。

ベンチマーク Qwen3-30B-A3B-2507 Qwen3-235B-A22B-2507 Qwen3-Next Instruct
MMLU-Pro 78.4 83.0 80.6
GPQA 70.4 77.5 72.9
AIME25 61.3 70.3 69.5
LiveCodeBench v6 43.2 51.8 56.6
Arena-Hard v2 69.0 79.2 82.7
Aider-Polyglot 35.6 57.3 49.8
TAU2-Retail 57.0 74.6 57.3
TAU2-Telecom 12.3 32.5 13.2

LiveCodeBenchとArena-Hard v2では235Bを上回る一方、エージェント系のTAU2-RetailとTAU2-Telecomでは30B-A3Bとほぼ同じです。ツール呼び出しの多い業務に使うなら、後述のQwen-Agentなどで成功率を測ってから決めてください。

Thinking版とGemini-2.5-Flashの推論・指示追従性能比較

Thinking版は「複数のベンチマークでGemini-2.5-Flash-Thinkingを上回る」と紹介されていますが、全項目ではありません。

ベンチマーク Gemini-2.5-Flash Thinking Qwen3-235B-A22B-Thinking-2507 Qwen3-Next Thinking
AIME25 72.0 92.3 87.8
HMMT25 64.2 83.9 73.9
LiveCodeBench v6 61.2 74.1 68.7
GPQA 82.8 81.1 77.2
IFEval 89.8 87.8 88.9
INCLUDE 83.9 81.0 78.9

数学とコードではGeminiを上回り、GPQA(大学院レベルの科学知識)・IFEval(指示追従)・INCLUDE(多言語の知識)では下回ります。日本語を含む多言語の知識問題を重視するなら、この差は無視できません。

100万トークンまでのRULER

長文性能はRULERの100万トークン版で測られています。NextはYaRN、比較するQwen3-2507はDual Chunk Attentionを有効にし、各長さ260サンプルで評価しています。平均は公式表の全15長さの平均です。

モデル 平均 128K 256K 512K 1000K
Qwen3-30B-A3B-Instruct-2507 86.8 89.1 82.5 78.4 72.8
Qwen3-235B-A22B-Instruct-2507 92.5 93.9 91.0 90.9 84.5
Qwen3-Next Instruct 91.8 96.0 93.5 86.9 80.3

128Kと256Kでは235Bを上回りますが、公式表の192Kでは94.0対94.5で下回り、384K以上でも235Bが上です。ネイティブの262,144トークンの範囲で使うのが、このモデルの得意な領域です。

InstructとThinkingの選び方と推奨設定

Qwen3(2025年4月版)は1つのモデルで思考モードを切り替えられましたが、Qwen3-NextはInstructとThinkingが別のモデルです。Thinking版のチャットテンプレートは自動で <think> を挿入するので、出力には閉じタグの </think> だけが現れます。推奨値は各モデルカードのBest Practices節のものです。

項目 Instruct Thinking
Temperature/TopP 0.7/0.8 0.6/0.95
TopK/MinP 20/0 20/0
推奨出力長 16,384 32,768(競技問題は81,920)
向く用途 要約・抽出・長文の読み込み 数学・コード・多段の推論

同じ文章を繰り返す場合は、presence_penaltyを0〜2の範囲で上げます。上げすぎると言語が混ざることがあるとモデルカードは注意しています。Thinking版は前世代より思考が長くなる場合があると明記されているので、出力長の上限を短く切ると答えに届く前に止まります。llama.cppのmin_pの既定値は0.1なので、0を明示しないと推奨値から外れます。各パラメータの意味は推論パラメータとは?temperatureとtop_pの決め方・推論モデルでの非対応を実装目線で解説【2026年版】で説明しています。

必要メモリ:精度別のファイルサイズ

重みのサイズを、公式とUnslothのリポジトリからHugging Face APIで集計しました。実行時はこれにKVキャッシュと推論エンジンの作業領域が加わります。

形式 サイズ 配布元
BF16(safetensors) 162.7GB Qwen公式
FP8(safetensors) 82.1GB Qwen公式
GGUF Q8_0 84.8GB Qwen公式・Unsloth
GGUF Q4_K_M 48.4GB/48.5GB Qwen公式/Unsloth(Instruct)
GGUF UD-Q4_K_XL 46.1GB Unsloth
GGUF UD-Q2_K_XL 30.1GB Unsloth

FP8の82.1GBは約76.5GiB、Q4_K_Mの48.5GBは約45.2GiBです。80GB級・48GB級のGPU1枚に載るかは、KVキャッシュと作業領域を足して判断し、足りない分はエキスパートをCPUのメモリへ逃がします。CPU側に置いたエキスパートの計算はCPUとメモリ帯域の速さで決まるので、どこまでGPUに残すかで生成速度が変わります。量子化形式の違いはGGUFとは?量子化モデルフォーマットの仕組みとGPTQ・AWQとの違い・採用判断を解説【2026年版】にまとめています。

Qwen3-Next-80B-A3Bを動かす手順(推論エンジン別)

推論エンジンは、GPUの台数と用途で選びます。

環境 推論エンジン 形式 MTP
GPUサーバー(4枚以上) vLLM/SGLang BF16・FP8 使える
GPU1枚+CPUメモリ llama.cpp GGUF 使える(2026年8月〜)
手軽に試す Ollama GGUF相当 なし
Apple Silicon MLX(LM Studio) MLX 4〜8bit なし
動作確認だけ Transformers BF16 使えない

Transformersでの実行手順(動作確認向け)

Qwen3-Nextのコードはtransformersに取り込まれていて、古い版では KeyError: 'qwen3_next' で読み込みに失敗します。モデルカードの手順は公開当時のmain版のインストールですが、2026年11月7日時点ではPyPIのtransformers 5.22.2にQwen3-Nextの実装が入っています。モデルカードのコードを要点だけにすると次のとおりです。

pip install -U transformers accelerate
from transformers import AutoModelForCausalLM, AutoTokenizer

model_name = "Qwen/Qwen3-Next-80B-A3B-Instruct"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(model_name, dtype="auto", device_map="auto")

messages = [{"role": "user", "content": "大規模言語モデルを短く紹介してください。"}]
text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
inputs = tokenizer([text], return_tensors="pt").to(model.device)
out = model.generate(**inputs, max_new_tokens=16384)
print(tokenizer.decode(out[0][len(inputs.input_ids[0]):], skip_special_tokens=True))

重みはBF16で162.7GBあり、全部をGPUに載せるなら80GB級GPUが2枚以上要ります。device_map="auto" は収まらない分をCPUのメモリやディスクに置くので1枚でも読み込めますが、生成は大きく遅くなります。モデルカードは、設定によっては flash-linear-attention と causal-conv1d を入れると効率が上がると書いています。どちらも入れないと線形注意は遅い汎用実装で動き、MTPも使えません。速度を測るならvLLMかSGLangに移ってください。

vLLMのAPIサーバー起動とMTP設定

モデルカードの要件は vllm>=0.10.2 で、vLLMは発表翌日の2025年9月11日に対応を告知しています。2026年11月7日時点のPyPIの最新は0.33.0(11月2日公開)です。vLLMのレシピは、4枚のH200・H20・A100・A800での起動を例にしています。

vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct \
  --tensor-parallel-size 4 \
  --max-model-len 262144 \
  --enable-auto-tool-choice --tool-call-parser hermes \
  --speculative-config '{"method":"mtp","num_speculative_tokens":2}'

モデルカードとレシピはMTPの指定を "method":"qwen3_next_mtp" と書いていますが、vLLM 0.31.0以降(0.33.0でも同じ)はこの名前を非推奨として mtp に読み替え、警告を出します。新しく書くなら mtp です。サーバーが起動しない場合は、モデルカードの注記どおり --max-model-len 32768 まで下げます。FP8版は Qwen/Qwen3-Next-80B-A3B-Instruct-FP8 を同じ4枚構成で指定します。レシピには、CUDA error: an illegal memory access was encountered が出たら --compilation_config.cudagraph_mode=PIECEWISE を足す、という対処も載っています。vLLM自体の使い方はvLLMとは?PagedAttentionの仕組み・使い方とOllama・TensorRT-LLMとの違い・0.32.0の脆弱性対応を参照してください。

SGLangのAPIサーバー起動とNEXTN設定

SGLangの要件は sglang>=0.5.2 で、2026年11月7日時点のPyPIの最新は0.5.23です。モデルカードの起動コマンドに、MTPを使う指定(NEXTN)を足した形です。

pip install 'sglang[all]>=0.5.2'
python -m sglang.launch_server --model-path Qwen/Qwen3-Next-80B-A3B-Instruct \
  --port 30000 --tp-size 4 --context-length 262144 --mem-fraction-static 0.8 \
  --speculative-algo NEXTN --speculative-num-steps 3 \
  --speculative-eagle-topk 1 --speculative-num-draft-tokens 4

どちらのエンジンもOpenAI互換のエンドポイントを開くので、クライアント側のコードは同じです。迷ったら、既に社内で動いている方を選べば十分です。

llama.cppのエキスパートCPU退避とKVキャッシュ量子化

llama.cppは2025年11月28日にマージされたPR #16095でQwen3-Nextに対応し、2026年8月3日のPR #25589でMTPにも対応しました。ただしMTPを使うには、MTPの層を含めて変換したGGUFと --spec-type draft-mtp の指定が必要で、次の基本例ではMTPを使いません。Unslothのガイドの実行例です(llama.cppをCMakeでビルドし、その親ディレクトリから実行する前提のパス)。

./llama.cpp/build/bin/llama-cli \
  -hf unsloth/Qwen3-Next-80B-A3B-Instruct-GGUF:Q4_K_XL \
  --jinja -ngl 99 --ctx-size 32768 \
  --temp 0.7 --min-p 0.0 --top-p 0.80 --top-k 20 --presence-penalty 1.0

GPUに載り切らないときは、エキスパートだけをCPUのメモリに置きます。指定は3段階あり、下に行くほどGPUの使用量が減ります。

  • -ot ".ffn_(up)_exps.=CPU":upの射影だけをCPUに置く
  • -ot ".ffn_(up|down)_exps.=CPU":upとdownをCPUに置く
  • -ot ".ffn_.*_exps.=CPU":全エキスパートをCPUに置く(現行版の --cpu-moe と同じ。先頭N層だけなら --n-cpu-moe N)

長い文脈を収めたいときは、KVキャッシュを量子化します。Kは --cache-type-k q4_1 のように指定でき、Unslothは精度の落ちにくい _1 系(q4_1・q5_1)を勧めています。Vも量子化するには、-DGGML_CUDA_FA_ALL_QUANTS=ON を付けてビルドし、--flash-attn を有効にする必要があります。Qwen3-NextのKVキャッシュはもともと12層分しかないので、効果が大きいのはGPU1枚に256Kを収めたい場合です。

Ollamaのタグの選び分けと起動コマンド

OllamaはOllama 0.13.2(2025年12月4日)のリリースノートでQwen3-Nextを追加しました。タグ一覧の主なタグです(2026年11月7日確認)。

タグ 中身 サイズ
qwen3-next:latest / :80b Thinking q4_K_M 50GB
qwen3-next:80b-a3b-instruct-q4_K_M Instruct q4_K_M 50GB
qwen3-next:80b-a3b-instruct-q8_0 Instruct q8_0 85GB
qwen3-next:80b-a3b-thinking-fp16 Thinking fp16 159GB

latest と 80b はダイジェスト(b2ebb986e4e9)がThinking版のq4_K_Mと一致します。ollama run qwen3-next とだけ打つとThinking版が動くので、思考なしで使いたいなら次のようにInstructのタグを明示します。

ollama run qwen3-next:80b-a3b-instruct-q4_K_M

MacのMLX版・LM Studioの対応形式と必要メモリ

Apple Silicon向けには、mlx-communityがInstructとThinkingの4bit・5bit・6bit・8bit版を2025年9月12〜13日に公開しています。LM Studioのモデルページは、このモデルをMLX版のみ(Macのみ)の対応とし、最小メモリを42GBとしています。思考モードは無い(Instructのみ)という扱いです。ユニファイドメモリ64GB以上のMacで4bit版を選ぶのが現実的な線です。mlx-lmから直接使う方法はMLXとは?mlx-lmの使い方|生成・量子化・サーバ・LoRAの手順とApple Siliconでの採用判断【2026年10月】で説明しています。

ツール呼び出し(Qwen-Agent・OpenAI互換API)

モデルカードは、ツール呼び出しにはQwen-Agentを使うよう勧めています。ツール呼び出しのテンプレートとパーサーを内部に持っているので、自前でパースを書かずに済みます。次の例は、上のvLLMの起動例(ポート8000)につなぐものです。SGLangの起動例(ポート30000)につなぐなら model_server のポートを変えます。MCPのサーバーは uvx で起動するので、uvも入れておきます。

pip install -U "qwen-agent[code_interpreter,mcp]"
from qwen_agent.agents import Assistant

llm_cfg = {
    "model": "Qwen/Qwen3-Next-80B-A3B-Instruct",   # vLLMは起動時のモデルIDをそのまま名前に使う
    "model_server": "http://localhost:8000/v1",   # OpenAI互換のエンドポイント
    "api_key": "EMPTY",
}
tools = [
    {"mcpServers": {
        "time": {"command": "uvx", "args": ["mcp-server-time", "--local-timezone=Asia/Tokyo"]},
        "fetch": {"command": "uvx", "args": ["mcp-server-fetch"]},
    }},
    "code_interpreter",
]
bot = Assistant(llm=llm_cfg, function_list=tools)
for responses in bot.run(messages=[{"role": "user", "content": "今の東京の時刻は?"}]):
    pass
print(responses)

ツールはMCPの設定で渡せます。OpenAIのSDKから直接 tools を渡す場合は、vLLM側を --enable-auto-tool-choice --tool-call-parser hermes で起動しておく必要があります。前述のとおりInstruct版はTAU2で30B-A3B並みなので、多段の手順を任せるならThinking版も並べて測ってください。Thinking版のTAU2-Telecomは43.9で、30B-A3B-Thinkingの26.3を上回っています。

APIで使う:Model Studioは終了、BedrockとOpenRouterは提供中

開発元のAlibaba Cloud Model Studioでは、qwen3-next-80b-a3b-instruct と qwen3-next-80b-a3b-thinking の提供が終わっています。2026年7月6日のModel Studioの告知は、この2つを含む旧モデルの終了日を2026年10月10日(UTC+8の0時)としています。同じ一覧には qwen3-coder-next も入っています。公開当初の紹介記事にある「入力$0.5・出力$2(Thinkingは$6)」などのModel Studioの料金は、いまは使えません。

2026年11月7日時点で、APIとして使える主な提供元は次の2つです。

提供元 対象 モデルID 備考
Amazon Bedrock(bedrock-runtime) 版の明記なし qwen.qwen3-next-80b-a3b Active・最大出力8K
Amazon Bedrock(bedrock-mantle) Instruct qwen.qwen3-next-80b-a3b-instruct OpenAI互換のエンドポイント
OpenRouter Instruct qwen/qwen3-next-80b-a3b-instruct DeepInfra・Parasailの4エンドポイント
OpenRouter Thinking qwen/qwen3-next-80b-a3b-thinking 提供事業者0

Bedrockのモデルカードは、文脈長256K・最大出力8Kトークンとしています。モデルカードが推奨するInstructの出力長16,384に届かないので、長い出力を1回で返させる用途には向きません。2026年11月7日にOpenRouterのエンドポイントAPIで取得した値では、いずれもFP8で、料金は100万トークンあたり入力$0.072〜$0.135、出力$0.88〜$1.65です。Thinking版をAPIで使う手段は減っているので、Thinking版が必要なら自前のGPUで動かす前提で計画してください。

100万トークンへの拡張(YaRN)

262,144トークンを超えて使う場合は、YaRNで位置埋め込みを4倍に伸ばします。モデルカードは、この方法で100万トークンまで性能を検証したと書いています。config.jsonに足す場合は次のとおりです。

"rope_scaling": {
    "rope_type": "yarn",
    "factor": 4.0,
    "original_max_position_embeddings": 262144
}

モデルカードにあるvLLMの --rope-scaling 引数は、vLLM 0.33.0にはありません。vLLMのドキュメントは --hf-overrides で rope_parameters を渡す方法に置き換えています。Qwen3-NextはRoPEを256次元のうち64次元にだけかける(partial_rotary_factor 0.25)ので、上書きするときはこの値と rope_theta(10,000,000)も一緒に書いておくと安全です。

VLLM_ALLOW_LONG_MAX_MODEL_LEN=1 vllm serve Qwen/Qwen3-Next-80B-A3B-Instruct \
  --tensor-parallel-size 4 --max-model-len 1010000 \
  --hf-overrides '{"rope_parameters":{"rope_type":"yarn","factor":4.0,"original_max_position_embeddings":262144,"rope_theta":10000000,"partial_rotary_factor":0.25}}'

主要なフレームワークのYaRNは入力長に関係なく同じ倍率をかける静的な実装なので、短い入力では性能が落ちることがあります。長文を扱うときだけ設定し、想定する長さが524,288トークンなら factor を2.0にする、とモデルカードは勧めています。位置埋め込みの拡張の考え方はRoPEとは:回転位置埋め込みの仕組みとコンテキスト長拡張・実装判断を実装者向けに解説で説明しています。

Next系列のその後:Coder-Next・Qwen3.5・Qwen3.8-Flash-Next

Qwen3-Nextで試したハイブリッド注意は、その後のQwenの主力モデルに広がりました。名前に「Next」が付くモデルと、構成を引き継いだモデルを並べます。

モデル 公開 規模 注意機構 ライセンス
Qwen3-Next-80B-A3B 2025年9月 80B-A3B Gated DeltaNet+Gated Attention Apache 2.0
Qwen3-Coder-Next 2026年2月 80B-A3B 同上(同じ構成) Apache 2.0
Qwen3.5-122B-A10B/35B-A3B 2026年2月 122B-A10B/35B-A3B 同じ3対1のハイブリッド Apache 2.0
Qwen3.8-Flash-Next 2026年8月 125B-A6B+n-gram埋め込み51B Gated DeltaNet+QSA qwen-community-1.0

Qwen3-Coder-Next:同じ80B-A3Bのコーディング特化版

Qwen3-CoderのGitHubリポジトリは、Coder-NextをQwen3-Next-80B-A3B-Baseの上に構築したと説明しています。config.jsonのmodel_typeも同じ qwen3_next で、層数・エキスパート数・注意機構の配置もQwen3-Nextと同じです。モデルカードは、コーディングエージェントとローカル開発向けに学習し、Claude Code・Qwen Code・Clineなどの環境に合わせられると説明しています。メモリの見積もりはこの記事の数字がそのまま使えますが、公式の要件はvLLM 0.15.0以上またはSGLang 0.5.8以上で、Qwen3-Nextより高くなっています。

Qwen3.5以降の35B-A3B:画像入力とハイブリッド注意

2026年2月に公開されたQwen3.5では、122B-A10Bも35B-A3Bも full_attention_interval が4で、Qwen3-Nextと同じ3対1の配置です。画像とテキストを最初から一緒に学習しており、画像入力に対応します。同じ活性3Bで少ないメモリに収めたいなら、後継のQwen3.6-35B-A3Bとは|必要VRAM・GGUFサイズ・Ollama/vLLMの動かし方とベンチ比較が比較相手になります。Qwen3.5の大型モデルはQwen3.5-397B-A17Bとは|必要VRAM・GGUFサイズ・商用利用・API料金とQwen3.5全モデル一覧で扱っています。

Qwen3.8-Flash-Next:Qwen4の試作アーキテクチャ

2026年8月26日に公開されたQwen3.8-Flash-Nextは、モデルカードで「Qwen4の土台となるアーキテクチャの実験的プレビュー」と位置づけられています。Gated Attentionの代わりに、マイクロブロック単位で処理対象を選ぶQwen Sparse Attention(QSA)を使い、n-gram埋め込み51Bを加えています。名前は似ていますが、Qwen3-Nextの改良版ではなく別の構成です。ライセンスもApache 2.0ではなく独自のqwen-community-1.0なので、商用で使う前に条文を確認してください。

2026年11月にQwen3-Next-80B-A3Bを選ぶ場面

新しく導入するなら、Qwen3-Nextは第一候補になりません。コード用途ならQwen3-Coder-Next、画像を扱うならQwen3.5以降、性能を最優先するなら後の世代を先に比べるべきです。

それでもQwen3-Nextを選ぶのは2つの場合です。1つは、2025年からQwen3-Nextで評価を済ませた業務があり、出力の傾向を変えたくない場合です。もう1つは、Apache 2.0のテキスト専用モデルで、256Kの長文読み込みを1台のマシンで回したい場合です。KVキャッシュは文脈長に比例して増えますが、262,144トークンでも1系列6.0GiB(32,768トークンから5.25GiB増)で、全層に通常の注意機構を持つ構成の4分の1です。APIの選択肢が減った今は、自前で動かせるかどうかも判断材料になります。社内データを外に出さずにこうした長文処理を組みたい場合は、生成AI導入支援で構成の検討から相談できます。

よくある質問

Qwen3-Nextは無料で商用利用できますか?

できます。Instruct・Thinking・FP8の4つのリポジトリはいずれもApache 2.0で、改変や再配布も可能です。再配布ではライセンス文の提供、変更したファイルへの変更通知、権利表示の保持など、Apache 2.0の条件に従います。後継のQwen3.8-Flash-Nextはライセンスが異なるので、同じ扱いにはなりません。

Qwen3-Next-80B-A3Bを動かすには何GBのメモリが必要ですか?

重みだけで、BF16は162.7GB、FP8は82.1GB、GGUFのQ4_K_Mは48.4〜48.5GBです。これにKVキャッシュ(32,768トークンで約0.8GiB、262,144トークンで約6.0GiB)と推論エンジンの作業領域が加わります。GPUに載り切らない分は、llama.cppの -ot や --n-cpu-moe でエキスパートをCPUのメモリへ逃がせます。

Ollamaの「qwen3-next」はInstructとThinkingのどちらですか?

Thinking版です。qwen3-next:latest と qwen3-next:80b はThinking版q4_K_Mと同じダイジェストです。思考なしで使うなら qwen3-next:80b-a3b-instruct-q4_K_M のようにInstructのタグを指定します。

Transformersで「KeyError: ‘qwen3_next’」が出るのはなぜですか?

transformersが古く、Qwen3-Nextのモデル定義を持っていないためです。pip install -U transformers で更新すれば読み込めます。ただしTransformersではMTPが使えないので、速度が必要ならvLLMかSGLangを使います。

Qwen3-NextとQwen3-Coder-Nextの違いは何ですか?

構成は同じ80B-A3Bで、違うのはコーディングエージェント向けの学習です。コード用途ではCoder-Nextを優先して比べます。動かすにはvLLM 0.15.0以上またはSGLang 0.5.8以上が必要です。

関連記事

お気に入りに入れた記事の一覧

一創の公式 SNS

X では毎朝の新着記事と IT ニュースの速報を、YouTube・TikTok・Instagram・LinkedIn・Facebook では記事の解説動画を配信しています。

この記事は以下の記事からリンクされています

資料請求

今日のトレンド記事 直近 24 時間で、いつもより多く読まれている記事

  1. 2026.11.09 テックブログ エディオン不正アクセス第2報:カード番号の対象確認とログ・決済画面の改ざん対策
  2. 2026.11.09 テックブログ LANSCOPE不正アクセス第2報:製品への影響と偽連絡の確認、停止中のライセンス認証の窓口
  3. 2026.11.10 テックブログ Claude Fable 5.2とは:料金・破壊的変更4点とFable 5.1からの移行手順【2026年11月】
  4. 2026.11.09 テックブログ ステップゴルフ不正アクセス:口座情報の対象確認と偽連絡・引き落としの注意点
  5. 2026.11.10 テックブログ ニトリの情報漏洩:最大3,762万件の対象確認となりすまし連絡の見分け方

RELATED POSTS 関連記事

目次