--- title: "Swallowとは？Llama 3.3 Swallowの特徴・日本語性能・商用利用を解説" url: "https://www.issoh.co.jp/tech/details/5780/" published: 2025-03-12 updated: 2026-09-27 categories: ["LLM・RAG"] publisher: "株式会社一創" --- # Swallowとは？Llama 3.3 Swallowの特徴・日本語性能・商用利用を解説 Swallow（スワロー）は、東京科学大学（旧東京工業大学）と産業技術総合研究所（産総研）が開発する、日本語能力を強化したオープンな大規模言語モデル（LLM）シリーズです。その中核となるのが、Metaの「Llama 3.3 70B」をベースに継続事前学習した**Llama 3.3 Swallow 70B**です。この記事では、Swallowシリーズ全体の位置づけと、主力モデルであるLlama 3.3 Swallowのモデル構成・日本語性能・商用利用の条件を、公式情報とベンチマークの実測値に基づいて整理します。 ## まとめ：Swallowとllama 3.3 Swallowの要点 - **Swallow**＝東京科学大学（旧東京工業大学）岡崎研究室・横田研究室と産総研が開発する、日本語特化のオープンLLMシリーズ（学術発の研究開発プロジェクト）。 - **Llama 3.3 Swallow 70B v0.4**は2025年3月10日公開。Llama 3.3 70B Instructを語彙拡張なしで継続事前学習した71Bパラメータのモデルで、重みはHugging Faceで無料公開されている。 - 日本語の理解・生成タスクの平均は0.629で、GPT-4o（0.646）に次ぐ2位。GPT-4o-miniは上回る。日本語生成は商用トップ級に肉薄するが、コーディングや数学は弱点。 - 商用利用は可能だが、**Llama 3.3 Community License**に加え、指示データ作成にGemmaを用いた関係で**Gemma利用規約**の遵守も求められる。月間アクティブユーザー7億超はMetaへの別途申請が必要。 - Swallowシリーズはその後も更新され、2026年2月時点の最新系統はQwen3ベースの「Qwen3 Swallow」。用途に応じて版・パラメータ規模を選ぶ。 ## Swallow AIとは：開発体制とシリーズの全体像 「Swallow AI」や「swallow llm」と検索したときに指しているのは、単一のモデルではなくシリーズ名です。Swallowは、日本語で読み書きする力を重視したオープンLLMを、大学・研究機関の学術研究として構築・公開するプロジェクトを指します。開発体制は、東京科学大学 情報理工学院の岡崎研究室・横田研究室と、産総研の共同です。モデルの重み（パラメータ）はHugging Faceで公開され、誰でもダウンロードして利用できます。 Swallowは「ベースとなる海外モデル＋日本語データによる継続事前学習」という方式を一貫して採り、ベースモデルの世代交代に合わせて系統を更新してきました。おおまかな変遷は次のとおりです。 - **Swallow（Llama 2ベース）**：初期系統。 - **Llama 3 / Llama 3.1 Swallow**：8B・70Bを展開。英語力を保ちつつ日本語を強化。 - **Llama 3.3 Swallow**：本記事の主役。70B規模で日本語生成性能を大きく引き上げた。 - **TinySwallow-1.5B**：Sakana AIによる15億パラメータの小規模モデル。スマホ等で動く軽量版として派生（詳細は[TinySwallow-1.5Bの解説記事](/tech/details/5230/)を参照）。 - **Qwen3 Swallow**：2026年2月時点の最新系統。AlibabaのQwen3をベースに推論能力を強化した。 つまり「Swallow」は特定バージョンの製品名ではなく、日本語特化LLMの系譜そのものです。以降は、その中で最も利用機会の多い70B級のLlama 3.3 Swallowに絞って解説します。 ## Llama 3.3 Swallowのモデル構成と特徴 ### ベースモデルと継続事前学習の方法 Llama 3.3 Swallowは、Metaの「Llama 3.3 70B Instruct」を土台に、日本語中心のデータで**継続事前学習（continual pre-training）**を施したモデルです。トークナイザーの**語彙拡張は行っていません**。日本語向けの追加学習では語彙を拡張する手法もありますが、Llama 3.3 Swallowはベースの語彙のまま学習を重ね、英語性能を保ちながら日本語を強化する設計を採っています。 継続事前学習に用いたトークン量は約3,150億トークンです。中核となるのは独自構築の日本語ウェブコーパス「Swallow Corpus v2」で、これに日本語・英語のWikipedia、コード（The Stack v2）、数学系データ（FineMath など）を組み合わせています。学習にはAWSのSageMaker HyperPodを用いた大規模分散学習が使われました。 ### 提供バージョンとInstructモデル Llama 3.3 Swallowの最終リリースはv0.4（2025年3月10日公開）で、パラメータ数は71B（70Bクラス）です。用途に応じて2種類が用意されています。 - **ベースモデル（Llama-3.3-Swallow-70B-v0.4）**：追加学習の土台となる素のモデル。自前でファインチューニングする用途向け。 - **指示学習済みモデル（Llama-3.3-Swallow-70B-Instruct-v0.4）**：対話・指示応答向けにチューニング済み。そのままチャットや業務タスクに使える。 いずれもHugging Faceの tokyotech-llm から取得できます。ローカルで動かす場合の入り口は次のとおりです（70B級はGPUメモリを多く要するため、量子化版の利用が現実的です）。 ``` # Hugging Face 上のモデルID tokyotech-llm/Llama-3.3-Swallow-70B-Instruct-v0.4 # 指示学習済み tokyotech-llm/Llama-3.3-Swallow-70B-v0.4 # ベースモデル ``` ## 性能・ベンチマーク：GPT-4oとの比較 Llama 3.3 Swallowの強みは日本語です。公式の評価では、日本語の理解・生成タスクの平均スコアで商用モデルに肉薄します。主な数値は次のとおりです。 | 評価軸 | Llama 3.3 Swallow 70B | GPT-4o | | -------------------------- | --------------------- | ------ | | 日本語 理解・生成（平均） | 0.629 | 0.646 | | 日本語 MT-Bench（対話・Instruct版） | 0.772 | 0.848 | | 英語タスク（平均） | 0.736 | 0.762 | 日本語の理解・生成では、比較したモデル群の中でGPT-4oに次ぐ2位につけ、GPT-4o-miniは上回りました。オープンに公開された重みでこの水準に達している点が、Llama 3.3 Swallowの評価される理由です。 一方で、コーディングや数学のように厳密な論理を要するタスクは苦手な領域です。「swallow code」のようにコード生成用途を期待して検索する人もいますが、この規模の汎用日本語モデルにコーディング支援の主役を任せるのは適切ではありません。日本語の文章生成・要約・社内文書処理といった**日本語主体の業務にこそ向く**と割り切り、コード生成はコード特化モデルや商用APIと併用するのが現実的な使い分けです。 ## Llama 3.3 Swallowは商用利用できるか：ライセンスの注意点 Llama 3.3 Swallowは商用利用が可能です。ただし「オープン＝無制限に自由」ではなく、いくつかの条件を満たす必要があります。導入前に確認すべき点は次の3つです。 - **Llama 3.3 Community License**に従う：Metaのライセンス条件が適用されます。月間アクティブユーザーが7億人を超える大規模サービスで使う場合は、Metaへ別途ライセンスを申請する必要があります（多くの企業利用ではこの上限に達しません）。 - **Gemma利用規約の遵守**：Llama 3.3 Swallowは指示学習用データの作成にGoogleのGemma（Gemma-2-27b-it）を利用しています。このため、Metaのライセンスに加えてGemmaの利用規約にも従うことが求められます。Swallow特有の注意点で、他のLlama派生モデルには無い条件です。 - **表記・帰属**：Llamaベースのモデルとしての帰属表示など、コミュニティライセンスが定める表記義務を守ること。 これらは公開情報に基づく整理です。商用サービスへ組み込む前には、Hugging Faceのモデルカードに記載された正式なライセンス原文を必ず確認してください。 ## Llama 3.3 Swallowの使い方と、日本語LLMの選び方 Llama 3.3 Swallowは、Hugging Faceからモデルを取得し、transformersやvLLMなどの推論環境で動かします。70B級は推論に高性能なGPU（大容量VRAM）を要するため、自前運用では量子化版を使うか、クラウドGPUを利用するのが一般的です。手元の小さな環境で試したい場合は、同じSwallow系の軽量モデルや8B級の日本語モデルを選ぶ方が現実的です。 日本語LLMは選択肢が増えており、「規模」と「用途」で選び分けるのが要点です。 - **高品質な日本語生成を大規模に**：Llama 3.3 Swallow 70B。日本語の理解・生成で商用トップ級に迫る。 - **軽量・オンデバイスで動かしたい**：[TinySwallow-1.5B](/tech/details/5230/)や、Llama 3ベースの日本語派生モデル[Llama-3-ELYZA-JP-8B](/tech/details/2844/)。ローカル実行の敷居が低い。 - **完全な国産・オープンソースにこだわる**：国立情報学研究所（NII）が開発する[LLM-jp-4](/tech/details/11674/)など。学習データまで含めた透明性を重視する場合の候補。 Llama 3.3 Swallowは、日本語の品質を最優先し、かつ自社環境でモデルを保有・制御したいケースで最有力の選択肢になります。 ## よくある質問 ### Swallow AIとは何ですか？ 東京科学大学（旧東京工業大学）と産総研が開発する、日本語能力を強化したオープンLLMシリーズの総称です。単一の製品名ではなく、Llama 3.3 SwallowやTinySwallow、Qwen3 Swallowなど複数のモデルを含む系譜を指します。 ### Llama 3.3とLlama 3.3 Swallowの違いは？ Llama 3.3はMetaが開発した英語中心のモデルです。Llama 3.3 Swallowは、それをベースに日本語データで継続事前学習し、日本語の理解・生成能力を強化した派生モデルです。英語力を保ちつつ日本語性能を引き上げている点が違いです。 ### Llama 3.3 Swallowは商用利用できますか？ 可能です。ただしLlama 3.3 Community Licenseに加え、指示データ作成にGemmaを用いた関係でGemma利用規約の遵守も必要です。月間アクティブユーザー7億超の大規模サービスは、Metaへ別途ライセンスを申請します。 ### GPT-4oと比べて性能はどうですか？ 日本語の理解・生成タスクの平均で0.629と、GPT-4o（0.646）に次ぐ2位です。GPT-4o-miniは上回ります。日本語生成は商用トップ級に迫りますが、コーディングや数学では及びません。 ### Swallowの最新モデルはどれですか？ 70B級ではLlama 3.3 Swallowが代表的ですが、シリーズはその後も更新され、2026年2月時点ではQwen3をベースにした推論強化モデル「Qwen3 Swallow」が最新系統です。最新の対応状況は公式サイトで確認してください。 ## 関連記事 - [Llama-3-ELYZA-JP-8Bとは？Llama 3ベースの日本語ローカルLLMを解説](/tech/details/2844/) - [LLM-jp-4とは？NIIが公開した国産オープンソースLLMの特徴](/tech/details/11674/) - [TinySwallow-1.5Bとは？Sakana AIの軽量日本語SLMを解説](/tech/details/5230/) --- 出典: [Swallowとは？Llama 3.3 Swallowの特徴・日本語性能・商用利用を解説]()（株式会社一創）