--- title: "TinySwallow-1.5Bとは？TAIDの仕組みとChatUI・GGUFでの動かし方" url: "https://www.issoh.co.jp/tech/details/5230/" published: 2025-02-07 updated: 2026-09-27 categories: ["LLM・RAG"] publisher: "株式会社一創" --- # TinySwallow-1.5Bとは？TAIDの仕組みとChatUI・GGUFでの動かし方 TinySwallow-1.5Bは、Sakana AIが2025年1月30日に公開した15億パラメータの日本語小規模言語モデル（SLM）です。320億パラメータのQwen2.5-32B-Instructを教師、Qwen2.5-1.5B-Instructを生徒として、独自の知識蒸留手法TAIDで学習させています。スマートフォンやノートPC上で、外部APIを介さずにローカル動作させられる点が最大の特徴です。ここではTAIDの正しい定義、ブラウザ版ChatUIとGGUF量子化版の動かし方、そして見落とされやすい「研究開発用途限定」という利用条件を、公式リポジトリと論文をもとに整理します。 ## まとめ - TAIDは「Temporally Adaptive Interpolated Distillation」。生徒の学習進度に合わせて中間教師を段階的に教師側へ動かす**知識蒸留（学習時）の手法**で、推論時の動的最適化技術ではない。 - 実体はQwen2.5-1.5B-Instructをベースに、Qwen2.5-32B-Instructから蒸留し日本語で追加チューニングしたモデル。論文はarXiv:2501.16937、ICLR 2025採択。 - ブラウザ版のTinySwallow ChatUIはWebLLM（MLC）で動作し、初回のモデルダウンロード後は完全オフラインで会話できる。アカウント登録もAPIキーも不要。 - iPhoneではGGUF量子化版が使える。公式ガイド記載の生成速度はQ8\_0が14.75トークン/秒、Q5\_K\_Mが19.89トークン/秒。Hugging Faceでの配布ファイルサイズは約1.65GB／約1.13GB。 - ライセンスはApache 2.0だが、学習データにGemma由来のデータセットを含むためGemma利用規約が併せて適用される。公式モデルカードは**研究開発目的の実験的プロトタイプであり、商用利用やミッションクリティカル用途には適さない**と明記している。 ## TAID（Temporally Adaptive Interpolated Distillation）の仕組み TinySwallow-1.5Bを支えるのがTAIDです。日本語記事では名称が独自解釈されがちですが、TAIDはSakana AIが提案した知識蒸留手法で、論文は[arXiv:2501.16937](https://arxiv.org/abs/2501.16937)、機械学習の国際会議ICLR 2025に採択されています。 ### 中間教師を時間発展させる蒸留 通常の知識蒸留は、固定した教師モデルの出力分布に生徒を近づけます。TAIDは生徒と教師の分布を補間した「中間教師」を置き、学習の進行に合わせて補間の重みを生徒側から教師側へ徐々に動かします。学習初期は生徒が真似できる距離の目標を与え、生徒が育つにつれて目標を教師本体へ寄せていく、という時間適応（Temporally Adaptive）の設計です。蒸留の基礎概念そのものは[Model Distillationとは？基本概念と機械学習における役割](https://www.issoh.co.jp/tech/details/5364/)で整理しています。 ### capacity gap・mode averaging・mode collapseへの対処 TAIDが解こうとしている問題は3つです。教師と生徒の能力差が大きすぎて学習が進まないcapacity gap、複数の正解パターンを平均化して当たり障りのない出力になるmode averaging、逆に特定パターンへ縮退するmode collapse。論文はTAIDがmode collapseを防ぐことを理論的に示し、32B→1.5Bという20倍以上の能力差でも蒸留が成立することを実証しました。TinySwallow-1.5Bはその実証成果であり、Sakana AIは公開時点で30億パラメータ未満のSLMの中で日本語ベンチマーク平均が最高水準としています。 ### よくある誤解：TAIDは推論高速化技術ではない TAIDを「Tiny AI Dynamic」の略とし、推論時に動的な量子化やパラメータ共有を行って計算コストを下げる技術だと説明する記事が日本語圏に複数あります。これは誤りです。TAIDは学習時にのみ働く蒸留手法で、推論時に何かを動的調整する仕組みは持ちません。TinySwallowが軽いのは推論時の最適化のおかげではなく、そもそも1.5Bという小ささに知識を移し切ったからです。実行時の速度を稼ぐのはGGUF量子化やWebLLMといった別レイヤーの技術であり、両者を混同すると「TAIDを載せれば既存モデルが速くなる」という成立しない期待に繋がります。 ## TinySwallow-1.5Bの提供形態とライセンス条件 TinySwallow-1.5Bは単一のモデルではなく、用途別に4系統がHugging Face上で配布されています。どれを取るかで動かし方も守るべき条件も変わります。 ### 4つの配布リポジトリと使い分け | リポジトリ | 中身 | 主な実行環境 | | -------------------------------------- | ------------------------------------ | ---------------------------------------- | | TinySwallow-1.5B | ベースモデル | 追加学習・研究用 | | TinySwallow-1.5B-Instruct | 指示チューニング済み | Transformers / vLLM / SGLang | | TinySwallow-1.5B-Instruct-GGUF | 量子化版（Q8\_0＝約1.65GB・Q5\_K\_M＝約1.13GB） | llama.cpp / Ollama / LM Studio / LLMFarm | | TinySwallow-1.5B-Instruct-q4f32\_1-MLC | WebLLM用の変換済み重み | ブラウザ（ChatUI） | ### Apache 2.0とGemma利用規約の二重適用 Hugging Faceのモデルカード上のライセンス表記はApache 2.0です。ただし学習データにGemma-2で生成された合成データセット（Gemma-2-LMSYS-Chat-1M-Synth、swallow-gemma-magpie-v0.1）が含まれるため、GGUFリポジトリにはGEMMA\_TERMS\_OF\_USEが同梱され、Googleの禁止用途ポリシーも守る必要があります。ライセンス表記だけを見て「Apache 2.0だから自由に商用転用できる」と判断すると条件を踏み外します。 ### 公式が明記する「研究開発目的のみ」という制約 モデルカードのUsesには、本モデルは研究開発目的でのみ提供される実験的プロトタイプであり、商用利用や障害が重大な影響を及ぼす環境での利用は想定していない、と書かれています。ChatUIのREADMEにも同じ注意書きがあります。社内システムへの組み込みを検討する場合、この一文が事実上の入口の制約になります。日本語のローカルLLMを業務システムに載せる前提なら、ライセンスと想定用途を先に確認してからモデルを選ぶべきで、[ELYZAの言語モデルを使ったローカルLLM活用事例について](https://www.issoh.co.jp/tech/details/2559/)のように商用利用条件が整理されたモデルも併せて比較対象に入れてください。 ## ブラウザで動かす：TinySwallow ChatUI 最短で試すならブラウザ版です。TinySwallow ChatUIはWebLLM（MLC）上でモデルを実行するチャットアプリで、推論はすべて利用者の端末で走ります。入力内容がSakana AIへ送られることはありません。 ### デモとローカル起動の手順 公式デモは [pub.sakana.ai/tinyswallow](https://pub.sakana.ai/tinyswallow/) で、アクセスしてモデルのダウンロードが終われば会話できます。自分の環境で動かす場合の手順は3ステップです。 ``` git clone https://github.com/SakanaAI/TinySwallow-ChatUI.git cd TinySwallow-ChatUI python -m http.server 8000 # ブラウザで http://localhost:8000 を開く ``` WebLLMはWebGPUで推論するため、WebGPUが有効なブラウザ（Chrome・Edgeのほか、対応版のSafari・Firefox）が前提です。読み込むのはq4f32\_1形式に変換された重みで、初回だけネットワーク越しにダウンロードされ、以降はブラウザのキャッシュから起動します。 ### ChatUI-Localとの違い ChatUIは初回ダウンロードにネットワークが要ります。閉域環境などネットワークを一切使えない場所では、モデルファイルを同梱した別リポジトリのTinySwallow-ChatUI-Localを使います。オフライン運用の要件が「初回だけ繋がる」なのか「一度も繋がない」なのかで選ぶリポジトリが変わる、という点だけ押さえておけば迷いません。 ## iPhone・PCで動かす：GGUF量子化版 ブラウザ以外で動かすなら、GGUF量子化版が配布されています。公式リポジトリにある2種類は精度と速度のトレードオフになっており、実測値も公式ドキュメントに載っています。 ### Q8\_0とQ5\_K\_Mの速度・サイズ比較 | 量子化 | 生成速度（公式ガイド記載値） | 配布ファイルサイズ（HF） | 位置づけ | | -------- | -------------- | ---------------- | ----------- | | Q8\_0 | 14.75トークン/秒 | 約1.65GB（1.53GiB） | 精度優先。応答は遅い | | Q5\_K\_M | 19.89トークン/秒 | 約1.13GB（1.05GiB） | 速度優先。精度は落ちる | 速度はiPhone上のLLMFarmで計測された公式ガイドの記載値で、機種は明示されていません（サイズはHugging Faceの配布ファイル実サイズ）。速度差は約35%なので、体感で迷うより「空き容量1.7GB程度と実行時メモリを確保できないならQ5、応答品質を見たいならQ8」と割り切るのが早いです。 ### iPhoneでの設定（LLMFarm） 公式ガイドが案内するiOSアプリはLLMFarmです。ここは情報が古いまま出回っているので注意が要ります。2025年8月27日の更新で、LLMFarmは通常のApp Storeから入手できなくなり、TestFlight経由でのインストールに変わりました。あわせて、設定テンプレート（Settings template）は旧ガイドの「ChatML」ではなく「Custom」を選ぶよう修正されています。ダウンロードしたGGUFをimport from fileで読み込み、Temperature 0.7・Top\_k 20あたりが公式の推奨設定です。 ### llama.cpp・Ollama・LM StudioでのPC実行 PCではllama.cpp、Ollama、LM StudioがGGUFをそのまま読み込めます。GUIで量子化モデルを管理したい場合は[LM StudioのMCP設定とGemma 4の動かし方｜OAuth・MTP高速化・Web検索](https://www.issoh.co.jp/tech/details/11736/)の手順が流用できますし、RAGを組んで社内文書に答えさせたいなら[OllamaとOpen WebUIでファイルをアップロードしRAGチャットを実現する方法](https://www.issoh.co.jp/tech/details/2381/)が近道です。量子化せずInstruct版を推論サーバーに載せる場合は、vLLMとSGLangが公式に案内されています。 ## 1.5Bで足りる場面と、選ぶべきでない場面 小さいモデルは万能ではありません。TinySwallow-1.5Bが向くのは、端末内で完結させたい定型的な日本語処理です。短い文章の要約、定型文の下書き、決まった形式への整形、オフライン前提の簡易チャットあたりは1.5Bでも実用に載ります。データを外部に出せない環境で「クラウドに送らない」ことが要件そのものになっているケースでは、精度以前に選択肢がこれしかない、という状況も起こります。 一方で、選ぶべきでない場面ははっきりしています。第一に商用プロダクトへの組み込みです。公式が研究開発目的の実験的プロトタイプと明言し、性能も結果も保証しないと書いている以上、業務システムの中核に置く判断は取るべきではありません。第二に、長い文脈を保持した推論や専門知識を要する回答です。1.5Bのパラメータ数は32Bの教師モデルの知識をすべて保持できるわけではなく、蒸留はあくまで「同サイズ帯で最も良い」を目指す技術です。GPT-4クラスの代替として評価すると必ず失望します。日本語モデルで規模と品質を取りたいなら、同じSwallow系列でもパラメータ数の大きい[Llama 3.3 Swallowの概要と特徴とは？](https://www.issoh.co.jp/tech/details/5780/)のようなモデルと役割を分けるのが現実的です。 ## よくある質問 ### TinySwallowは無料で使えますか？ モデルはHugging Faceから無料で入手でき、ブラウザ版ChatUIもアカウント登録なしで使えます。推論は自分の端末で走るため利用料も発生しません。ただしライセンス上はApache 2.0＋Gemma利用規約であり、公式は研究開発目的での利用を想定しています。 ### TinySwallowは商用利用できますか？ 公式モデルカードは「商用利用やミッションクリティカルな環境での使用には適していません」と明記しています。ライセンス条文とは別に、提供元がこの想定用途を示している点を踏まえて判断してください。 ### TAIDとは何の略ですか？ Temporally Adaptive Interpolated Distillation（時間適応型補間蒸留）の略です。生徒と教師の分布を補間した中間教師を学習の進行に合わせて動かす知識蒸留手法で、ICLR 2025に採択されています。 ### オフラインで完全に動きますか？ ChatUIは初回のモデルダウンロードにネットワークが必要で、以降は完全オフラインで会話できます。一度もネットワークに繋げない環境では、モデルファイルを同梱したTinySwallow-ChatUI-Localを使います。 ### スマートフォンではどれくらいの速度が出ますか？ 公式のiPhone向けガイドに記載された実測値はQ8\_0で14.75トークン/秒、Q5\_K\_Mで19.89トークン/秒です。端末やアプリの設定によって変動するため、最新の数値は公式ドキュメントで確認してください。 ## 関連記事 - [Model Distillationとは？基本概念と機械学習における役割](https://www.issoh.co.jp/tech/details/5364/) - [Llama 3.3 Swallowの概要と特徴とは？](https://www.issoh.co.jp/tech/details/5780/) - [ELYZAの言語モデルを使ったローカルLLM活用事例について](https://www.issoh.co.jp/tech/details/2559/) - [LM StudioのMCP設定とGemma 4の動かし方｜OAuth・MTP高速化・Web検索](https://www.issoh.co.jp/tech/details/11736/) - [OllamaとOpen WebUIでファイルをアップロードしRAGチャットを実現する方法](https://www.issoh.co.jp/tech/details/2381/) --- 出典: [TinySwallow-1.5Bとは？TAIDの仕組みとChatUI・GGUFでの動かし方]()（株式会社一創）