知識蒸留（Model Distillation）とは？仕組み・実装手順とLLM軽量化の判断基準

知識蒸留（Knowledge Distillation／Model Distillation）は、大規模で高精度な「教師モデル」の知識を、小型の「生徒モデル」へ移転する機械学習のモデル圧縮技術です。2015年にGeoffrey Hinton氏らが提案して以来、BERTの軽量版DistilBERTからDeepSeek-R1の蒸留モデル群まで、推論コスト削減の中心的な手段になってきました。本記事では、教師・生徒モデルの動作原理と温度付きソフトマックスの仕組み、PyTorch・TensorFlowでの実装手順、量子化・プルーニング・転移学習との使い分けを整理します。そのうえで、LLM時代の蒸留の位置づけと、自社プロジェクトで採用すべきか見送るべきかの判断基準まで踏み込みます。読み終えたときに、手元の案件で蒸留を検討する価値があるかを自分で判断できる状態にすることが本記事の狙いです。

まとめ：知識蒸留の要点と導入判断の結論

知識蒸留は、教師モデルの出力する確率分布（ソフトターゲット）を手本に生徒モデルを学習させ、精度をなるべく保ったままモデルを小さくする技術です。代表例のDistilBERTはパラメータを約40%削減し推論を約60%高速化しながら、言語理解ベンチマークでBERTの97%前後の性能を維持したと報告されています。情報を機械的に削る量子化やプルーニングと異なり、小型モデルに「学び直させる」点が本質で、両者は併用もできます。精度・推論コスト・搭載先の制約という3つの変数を同時に動かせることが蒸留の価値です。

2020年代半ばのLLM開発では、蒸留は特殊な研究手法から標準工程に変わりました。OpenAIは2024年10月のDevDayでAPIとして蒸留機能を提供開始し、DeepSeekは2025年1月にR1の推論能力を1.5B〜70Bの小型モデルへ蒸留した6モデルを公開しています。GoogleもGemma 2系の小型モデル学習に蒸留を採用したと技術報告書に明記しており、主要ベンダーの小型高性能モデルの多くは蒸留の産物です。

導入判断の結論を先に示します。推論回数が多い、応答遅延の上限が厳しい、エッジやモバイルなどデバイス制約がある。この3条件のいずれかに当てはまり、かつ手本となる高精度モデルを確保できるなら、知識蒸留は投資に見合います。逆に、教師モデルが用意できない、学習データが少ない、要件が頻繁に変わる段階では見送りが妥当です。本文では、この判断に必要な仕組みの理解から実装・比較・事例までを順に説明します。

知識蒸留（Model Distillation）の基本概念と教師・生徒モデルの原理

知識蒸留を正しく使うには、「何を」「どうやって」移しているのかを押さえる必要があります。この章では、提案論文にさかのぼった定義と、教師・生徒モデルの間で受け渡されるソフトターゲットの意味、そして蒸留が解決しようとしている運用課題を整理します。

教師モデルから生徒モデルへ知識を移す仕組みと定義（Hinton 2015）

知識蒸留の枠組みは、Geoffrey Hinton氏・Oriol Vinyals氏・Jeff Dean氏が2015年3月に公開した論文「Distilling the Knowledge in a Neural Network」（arXiv:1503.02531）で定式化されました。事前学習済みの大規模な教師モデル（Teacher Model）が入力に対して出力する確率分布を、小型の生徒モデル（Student Model）が模倣するように学習させる。これが基本の構図です。

生徒モデルは正解ラベルだけでなく、教師モデルの「判断の濃淡」まで学びます。論文ではこの濃淡に含まれるクラス間の類似情報をdark knowledge（暗黙知）と呼び、単純なラベル学習より汎化性能が上がる根拠としました。蒸留という名前は、大きなモデルに溜め込まれた知識から本質的な成分を抽出して小さな器に移す、という比喩に由来します。学習済みモデルが持つ判断構造を転写する点で、アーキテクチャの縮小コピーとは別物です。

呼び方も整理しておきます。学術文献ではKnowledge Distillation（知識蒸留）という呼称が一般的です。Model Distillation（モデル蒸留）は、OpenAIのAPI機能名などプロダクト側で使われることが多い表記ですが、指している技術は同じです。日本語文献では単に「蒸留」と略される場合もあるため、調査の際は3つの表記を横断して検索すると情報を拾い漏らしません。

ソフトターゲットが伝えるクラス間の関係：ハードラベルとの違い

通常の教師あり学習で使う正解ラベルは、正解クラスが1でそれ以外が0のone-hot表現（ハードラベル）です。これに対し教師モデルの出力は、たとえば猫の画像に対して「猫0.85・犬0.12・自動車0.001」のような連続的な確率分布になります。この分布がソフトターゲットです。

ソフトターゲットには「猫と犬は間違えやすいが、猫と自動車はほぼ混同しない」というクラス間の関係構造が刻まれています。ハードラベルだけでは失われるこの情報を学習信号として受け取れるため、生徒モデルは少ないパラメータでも判断の境界を効率よく形成できるわけです。1サンプルあたりの情報量が増えることから、同じデータ量でも学習が進みやすいという利点も報告されています。

ソフトターゲットが効く理由は、正則化としての働きからも説明できます。なだらかな分布を目標にすることで生徒モデルの判断境界が滑らかになり、ラベルスムージングに似た過学習の抑制が働くとされています。Hinton氏らの論文の元々の動機も、複数モデルのアンサンブルが持つ知識を単一モデルへ集約して配備コストを下げることにありました。予測を平均する代わりに分布を教材にするという発想は、その後のあらゆる蒸留手法の土台になっています。

パラメータ大規模化で深刻になった推論コストと蒸留が解く運用課題

2020年公開のGPT-3が1,750億パラメータに達して以降、言語モデルの高性能化は規模の拡大とともに進みました。規模の拡大は学習コストだけでなく、運用フェーズの推論コストを押し上げます。学習は一度で済みますが、推論はリクエストのたびに発生するため、利用者が増えるほどGPUの使用時間と電力消費が積み上がる構造です。

モバイルアプリやIoT機器のように計算資源が限られた環境では、そもそも大規模モデルを載せられません。応答に数秒かかる音声アシスタントや、クラウド往復を待つ監視カメラでは実用になりませんから、精度と軽さの両立が求められます。知識蒸留はこの「運用時のコスト・遅延・搭載制約」を、学習段階の工夫で解決する技術です。開発時に一度だけ蒸留の手間をかけ、運用期間全体の推論コストを回収するという投資構造で捉えると判断しやすくなります。

規模感を数字で押さえておきます。70億（7B）パラメータのモデルは16ビット精度で約14GBのメモリを要求し、8GB級のGPUを積んだ一般的な機器には載りません。これを蒸留と量子化の併用で数GB以下へ落とせれば、ノートPCやスマートフォンでの実行が視野に入ります。搭載先の制約とモデル規模を最初に数字で突き合わせることが、軽量化計画の出発点です。

プルーニング・量子化と並ぶモデル圧縮技術の中での知識蒸留の位置づけ

モデル圧縮の代表的な手段には、不要な結合やニューロンを削除するプルーニング（枝刈り）、数値表現のビット数を下げる量子化、そして知識蒸留の3系統があります。前の2つは出来上がったモデルから情報を「削る」アプローチであるのに対し、蒸留は小型モデルに「学び直させる」アプローチという違いがあります。

削る系の手法は元のアーキテクチャに縛られますが、蒸留では生徒モデルの構造を自由に設計できます。Transformerの層数を半分にする、畳み込みモデルを軽量アーキテクチャに置き換える、といった大胆な構造変更が可能です。3系統は排他的ではなく、蒸留で小型化した生徒モデルへ量子化を重ねる併用が実務では一般的です。詳細な比較は後述の比較章で扱います。

温度付きソフトマックスの仕組みと3つの蒸留手法・実行方式の分類

蒸留の学習プロセスを制御する中心的な仕掛けが温度付きソフトマックスです。この章では温度パラメータの役割と、何を移すか（手法の3系統）、いつ移すか（実行方式の3タイプ）という2軸の分類、そして実務で最初に触るハイパーパラメータの設定目安を説明します。

温度パラメータTで出力分布を平滑化する温度付きソフトマックス

ソフトマックス関数はモデルの出力スコア（ロジット）を確率分布に変換します。温度付きソフトマックスでは、ロジットを温度パラメータTで割ってからこの変換を行う仕組みです。T=1なら通常のソフトマックスと同じで、Tを大きくするほど分布がなだらかになり、正解以外のクラスに割り当てられた小さな確率の差が見えやすくなります。

ソフトターゲットの価値はクラス間関係の情報にあるため、平滑化によってその情報を増幅することが蒸留の効きを左右します。Tが低すぎるとハードラベルとの差がなくなって蒸留の意味が薄れ、高すぎるとノイズまで増幅されて学習が不安定になります。なお、実装上は蒸留損失の勾配がTの2乗に反比例して小さくなるため、損失にT²を掛けてスケールを補正するのが提案論文以来の定石です。

応答ベース・特徴ベース・関係ベースの3系統蒸留アプローチと選定基準

「教師の何を移すか」で蒸留手法は3系統に分かれます。整理すると次の表のようになります。

応答ベース（ロジット蒸留）は教師の最終出力だけを使うため、教師モデルの内部にアクセスできないAPI経由でも成立します。特徴ベースは中間層の特徴マップやアテンションの分布まで合わせ込む方式で、FitNetsやTinyBERTが採用しており、手間は増えますが精度の上積みが期待できます。関係ベースはサンプル同士の距離や類似関係を移す方式です。迷ったら応答ベースから始め、精度が不足したら特徴ベースを重ねる順番が実務では扱いやすいでしょう。

オフライン・オンライン・自己蒸留：3つの実行方式と適する場面

「いつ移すか」という時間軸では、学習済みの教師を固定して生徒だけを学習させるオフライン蒸留、教師と生徒を同時に学習させるオンライン蒸留、同一モデルの深い層から浅い層へ知識を移す自己蒸留（Self-Distillation）に分かれます。実務の大半は、既存の高精度モデルを教師に使えるオフライン蒸留で足ります。

オンライン蒸留は、十分に強い教師がまだ存在しない新領域で、複数モデルを相互に教え合わせながら育てる場合に選択肢へ入ります。派生として、複数の教師モデルの出力を統合して1つの生徒に移すマルチティーチャー蒸留もあり、単一教師のバイアスを薄める効果が報告されてきました。方式ごとに学習パイプラインの複雑さが大きく違うため、まずオフラインで目標精度に届くかを確かめてから高度な方式を検討する、という順序を推奨します。なお自己蒸留は、モデルを小さくするというより同一構造のまま精度を底上げする再学習の手段として使われることが多く、圧縮目的のオフライン蒸留とは狙いを分けて整理すると混乱しません。

蒸留損失の設計：KLダイバージェンスとクロスエントロピー損失の併用

蒸留学習の損失関数は、役割の異なる複数の項を組み合わせて設計します。中心になるのは、教師のソフトターゲットと生徒の出力分布のずれを測る蒸留損失で、分布間の距離を測るKLダイバージェンスを使うのが定番です。これに、正解ラベルとのずれを測る通常のクロスエントロピー損失を加え、必要に応じてL2正則化などでパラメータの暴れを抑えます。

正解ラベル項を残す理由は、教師モデルの誤りに対する保険です。教師も完璧ではなく、一定割合の誤答や偏りを含みますから、正解ラベルという独立した基準を並走させることで、生徒が教師の誤りまで忠実に写し取る事態を防ぎます。学習の更新則にはAdamやSGDといった通常の選択肢がそのまま使え、蒸留だからといって専用の仕組みを導入する必要はありません。

温度Tと損失重みαの設定目安：T=2〜5から始める実務的な調整手順

前述の2つの損失項をどう配合するかを決めるのが重み係数αです。最初に触るハイパーパラメータは温度Tとαの2つで、Tは2〜5の範囲から探索を始めるのが提案論文以来の通例になっています。

調整の手順としては、まずT=2・α=0.5前後で1本学習させてベースラインを取り、Tを1段階ずつ動かして検証精度の変化を観察します。クラス数が少ないタスクではTを上げても得られる情報が限られるため低めが向き、クラス数が多い分類ではやや高めが効く傾向があります。αは蒸留損失側を重くするほど教師への追従が強まりますが、教師の誤りまで写し取るリスクも上がるため、正解ラベルとの併用を維持したほうが安全です。学習率やバッチサイズは通常の学習と同様に調整しますが、T・αより優先度は下がります。

PyTorch・TensorFlowでの実装手順とハイパーパラメータ設計

知識蒸留は主要な深層学習フレームワークの標準機能だけで実装できます。この章では、全体の流れを3ステップに分けたうえで、PyTorchとTensorFlowそれぞれの損失定義、モデル選定、データセット準備、評価指標という実装の要素を順に確認します。

教師モデルの学習から生徒モデルの評価まで：実装3ステップの全体像

蒸留の実装は、次の3ステップに分解できます。

1. 教師モデルの準備：高精度モデルを学習させるか、学習済みモデルを調達して精度を検証する
2. 生徒モデルの蒸留学習：教師の出力からソフトターゲットを生成し、蒸留損失とクロスエントロピー損失を合成して学習する
3. 評価と調整：精度・推論時間・メモリを測定し、温度Tや損失重みαを調整して再学習する

各ステップで品質を確認してから次へ進むことが、結果として手戻りを減らします。教師モデルの精度が不足したまま蒸留に進むと、生徒はその上限を超えられません。生徒モデルの精度は教師の精度に上から抑えられる、という制約を常に念頭に置いてください。

PyTorchのKLDivLossとTensorFlow・Kerasでの蒸留損失の書き方

PyTorchでは、生徒のロジットを温度Tで割ってlog_softmaxに通し、教師のロジットを同じTで割ってsoftmaxに通した2つの分布をKLDivLoss（KLダイバージェンス損失）で比較するのが典型的な書き方です。前述のとおり勾配スケール補正のためにT²を掛け、正解ラベルとのCrossEntropyLossとαで加重合成します。数十行で書ける処理であり、専用ライブラリは必須ではありません。

TensorFlowでは、Keras公式チュートリアルにDistillerクラスを使った実装例が公開されており、train_stepをオーバーライドして蒸留損失を組み込む構成が示されています。どちらのフレームワークでも、教師モデルは推論モードに固定して勾配を流さないこと、ソフトターゲット生成時と生徒学習時で同じTを使うことが実装上の注意点です。この2点を外すと学習が収束しない典型的な失敗につながります。

学習の細部には通常の教師あり学習の作法が通用します。学習率は生徒モデルの規模に合わせて小さめから探り、DropoutやBatch Normalizationなどの正則化で過学習を抑えるのが定石です。エポック数は少なすぎれば学習不足、多すぎれば教師への過剰適合を招くため、検証データの損失が下げ止まった時点で打ち切る早期終了（Early Stopping）を仕込んでおくと安定します。

教師と生徒の容量差を抑えるモデル選定：MobileNet等の設計例

教師モデルには、対象タスクで十分な精度を持つモデルを選びます。自然言語処理ならBERTやその後継、画像認識ならResNetやEfficientNetといった実績あるアーキテクチャが定番です。生徒モデルには、モバイル向けに設計されたMobileNet系や、層数を減らしたTransformerなど、配備先の制約に合う軽量構造を選びます。

見落とされやすいのが教師と生徒の容量差（キャパシティギャップ）です。両者の規模が離れすぎると、生徒が教師の分布を表現しきれず、蒸留の効果がかえって下がる現象が知られています。対策として、中間サイズの補助モデルを挟んで段階的に蒸留するTeacher Assistant方式が提案されています。目安として、いきなり10分の1以下のパラメータ数へ落とすのではなく、まず2〜4分の1程度で効果を確認しながら段階的に縮める進め方が堅実です。

データ拡張と前処理で決まる蒸留用データセット準備の実務的な手順

蒸留学習には、教師モデルの学習に使ったものと同じデータセットをそのまま使えます。加えて、ソフトターゲットは教師モデルが生成するため、正解ラベルの付いていないデータも学習に動員できる点が蒸留特有の利点です。ラベル付けコストをかけずに学習データを増やせるため、現場でアノテーション予算が限られている場合ほど効きます。

汎化性能を高めるには、回転・切り抜き・ノイズ付加などのデータ拡張（Data Augmentation）を施し、入力の多様性を確保します。前処理は教師モデルの学習時と揃えることが原則です。正規化の統計量やトークナイザーが教師と生徒で食い違っていると、教師の出力分布が本来の意味を失い、蒸留全体が空振りします。データの偏りはそのまま生徒モデルの偏りとして転写されるため、クラス比率の確認と是正も準備段階で済ませておきます。データ規模の目安は教師の学習データと同等かそれ以下で構いませんが、本番入力の分布を代表していることが数より優先です。運用ログから抽出したデータを混ぜると、配備後の分布ずれに強くなります。

精度・推論時間・メモリ使用量の3軸で測る生徒モデルの評価指標

蒸留の成否は、精度（AccuracyやF1スコア）、推論時間（レイテンシとスループット）、メモリ使用量の3軸で評価します。精度だけを見ると軽量化の目的を見失い、速度だけを見ると品質の劣化を見逃すため、3軸を同じ表で管理することが基本動作です。エッジ配備なら消費電力とモデルファイルサイズも加えます。

評価は必ず本番相当の環境で行ってください。GPU上では60%速くても、CPUしかないエッジ機器では別の結果になることがあります。教師モデルとの出力一致率を回帰テストとして残しておくのも、モデル更新時の品質劣化を早期に検知する有効な手です。運用に乗せた後の再学習・再蒸留のサイクル設計は、機械学習モデルの運用基盤（MLOps）の課題として切り出しておくと保守が楽になります。

量子化・プルーニング・転移学習との違いと軽量化手法の併用判断

知識蒸留は、名前の似た技術や目的の近い技術と混同されがちです。この章では、量子化・プルーニングという同じ「圧縮」の隣人と、転移学習・ファインチューニング・LoRAという「学習の移転」の隣人に分けて違いを整理し、併用時の考え方を示します。

情報を削る量子化・プルーニングと知識を移す蒸留の精度影響の比較

3つの圧縮手法の性格をまとめると次のとおりです。

量子化は32ビット浮動小数点を8ビット整数（INT8）などへ置き換える手法で、それだけでモデルサイズを約4分の1にできます。プルーニングは寄与の小さい重みを削除する手法です。どちらも実施が比較的手軽な一方、削減率を上げるほど精度低下が顕在化します。蒸留は学習をやり直すぶん手間がかかりますが、クラス間関係という「意味のある情報」を保ったまま小型化できるため、大きな圧縮率でも精度を維持しやすいという性格の違いがあります。

転移学習・ファインチューニングと知識蒸留の目的の違いと使い分け

転移学習やファインチューニングは、学習済みモデルの能力を別のタスクやドメインへ「広げる」技術です。一方の知識蒸留は、同じタスクの能力を小さな器へ「移す」技術であり、目的の軸が直交しています。モデルを賢くしたいのか、軽くしたいのか。この問いで使い分ければ迷いません。事前学習済みモデルを下敷きにする点は共通するため、転移学習とファインチューニング・特徴抽出の使い分けを整理した解説と合わせて読むと、学習済みモデルを扱う技術の全体地図が描けます。

実務では両者を連結することも多く、たとえば大規模モデルを自社ドメインへファインチューニングしてから、その成果物を教師として蒸留し、配備用の小型モデルを得るという2段構えが典型です。順序を逆にすると、小型化で失われた表現力の上にドメイン適応を重ねることになり、精度の上限が下がります。先に賢くしてから軽くする、が原則です。受託開発の現場では、この2段構えをそのまま見積もりの分解にも使えます。ドメイン適応の工程と軽量化の工程を分けて工数を出せば、どちらか一方だけを先行させる段階的な発注も組みやすくなります。

LoRA・PEFTなど軽量適応手法と蒸留の関係：組み合わせの実際

LLMの文脈では、LoRA（低ランク適応）に代表されるPEFT（パラメータ効率の良いファインチューニング）と蒸留の関係を問われることが増えました。LoRAは学習コストを下げる技術であり、出来上がったモデルの推論コストは元のモデルとほぼ変わりません。推論を軽くしたいなら蒸留、学習を軽くしたいならLoRAという役割分担です。仕組みの詳細はLoRAの低ランク適応の仕組みと派生手法の解説で扱っています。

組み合わせ方としては、蒸留で得た小型モデルに対してLoRAで顧客別・用途別の適応を重ねる構成が実用的です。ベースの推論コストを蒸留で下げておき、個別要件への追従はアダプタの差し替えで済ませるため、複数テナントへの展開でGPUメモリを節約できます。蒸留とPEFTは競合技術ではなく、コスト構造の別の場所に効く道具として捉えてください。

量子化・プルーニングとの併用で到達できるモデル圧縮率の実務目安

圧縮手法は積み重ねられます。実務でよく使われる段取りは、蒸留でパラメータ数を2分の1〜4分の1へ落とし、その生徒モデルへINT8量子化を適用してさらに4分の1にする、という2段構成です。単純計算で8分の1〜16分の1のモデルサイズに到達し、エッジ機器への搭載が現実味を帯びます。

ただし圧縮は掛け算で効く一方、精度低下も蓄積します。段ごとに評価指標を測り、業務要件の許容ラインを割った時点で1段戻す、という規律が必要です。とくに量子化は活性値の分布に敏感で、蒸留済みモデルとの相性はタスクごとに異なります。「蒸留→量子化→実機評価」を1サイクルとして、2〜3周の反復を見込んだ工数計画を立てるのが現実的です。削減対象はモデル本体だけではなく、トークナイザーや前後処理の負荷も含めた全体で測らないと、モデルを8分の1にしても前処理がボトルネックのままで体感速度が変わらない、という空振りが起きます。

DistilBERTからDeepSeek-R1までの蒸留事例とLLM軽量化の潮流

知識蒸留の効果は、公開されたモデルの実測値で確かめるのが早道です。この章では、NLP分野の古典的成功例から、画像・音声への広がり、そしてOpenAI・DeepSeek・Googleが示したLLM時代の蒸留の使われ方までを追います。

DistilBERT・TinyBERTが示したNLPモデル蒸留の定量効果

Hugging Face社が2019年に公開したDistilBERTは、BERT-baseを教師とした蒸留の代表例です。パラメータ数を約40%削減し、推論速度を約60%向上させながら、GLUEベンチマークで教師の97%前後の性能を維持したと論文で報告されています。層数を12層から6層へ半減させる構造変更を、蒸留によって精度低下を抑えつつ成立させた点が本質です。

Huaweiの研究チームが同年に発表したTinyBERTは、アテンション分布や中間表現まで合わせ込む特徴ベースの2段階蒸留を採用し、4層構成でBERT-baseの7.5分の1のサイズ・約9.4倍の推論速度と、教師の96%超の性能を両立したと報告しています。応答ベースだけのDistilBERTより深い蒸留がさらなる圧縮を可能にした事例であり、前述の手法3系統の使い分けを実証した形です。なお、これらの数値は英語ベンチマークでの報告値のため、日本語タスクへ適用する場合は日本語で事前学習された教師モデルと自前の評価データでの再現確認が要ります。

画像認識・音声認識・自動運転で進むオンデバイス推論への適用例

画像分野では、ResNetやEfficientNetを教師に、MobileNet系を生徒にした蒸留がモバイル搭載の定番手順になっています。スマートフォンのカメラアプリで動く被写体認識や、監視カメラの人物検知のように、クラウドへ映像を送らずに端末内で推論を完結させる構成は、蒸留による軽量化を前提に成立しています。通信遅延の排除に加えて、映像データを外部へ出さないというプライバシー面の利点が導入の決め手になる案件も少なくありません。

音声分野では、スマートフォンのオフライン翻訳や音声入力が代表例です。かつてクラウド上でしか動かなかった認識モデルが端末内で動くようになった背景には、蒸留を含む軽量化技術の蓄積があります。自動運転や先進運転支援では、車載コンピュータの電力・発熱制約の中でリアルタイム推論を成立させる必要があり、大型モデルの認識能力を車載向けモデルへ移す用途が定着しました。医療のウェアラブル機器での診断補助のように、リアルタイム性と省電力を同時に要求する領域でも適用が広がっています。

OpenAIが提供するModel Distillation機能の仕組みと料金面の利点

OpenAIは2024年10月のDevDayで、APIプラットフォームにModel Distillation機能を追加しました。本番トラフィックで得たGPT-4oなど上位モデルの入出力をStored Completionsとして蓄積し、それを教材にGPT-4o miniのような小型モデルをファインチューニングし、Evalsで性能を比較検証する。この一連の流れをAPI上で完結できる仕組みです。かつて研究者の専門作業だった蒸留が、アプリケーション開発者の標準的な選択肢になった転換点でした。

動機は明快で、上位モデルと小型モデルの推論料金には当時の公表価格で1桁以上の開きがありました。品質要件を満たせるタスクを小型の蒸留モデルへ振り向ければ、API利用料をそのまま圧縮できます。実務では、まず上位モデルで本番品質のログを貯め、頻度の高い定型タスクから順に蒸留版へ切り替えていく段階的な移行が定石です。全タスクを一括で置き換えようとせず、Evalsでタスク単位の合格判定を挟むことが品質事故を防ぎます。移行後も上位モデルのログ蓄積は続け、蒸留モデルの再学習に回す教材を絶やさない運用にしておくと、品質を保ったまま置き換え範囲を広げられます。

DeepSeek-R1蒸留モデルに見る推論能力の小型モデルへの継承

2025年1月に公開されたDeepSeek-R1は、蒸留の到達点を示す事例になりました。DeepSeekは、R1本体（671BパラメータのMoE構成）が獲得した段階的推論の能力を、QwenおよびLlama系の1.5B〜70Bの6つの小型モデルへ蒸留し、MITライセンスで公開しました。公開されたベンチマークでは、蒸留版の32BモデルがOpenAIのo1-miniに匹敵する数学・コーディング性能を示したと報告されています。

この事例が示したのは、単なる分類精度だけでなく、思考の過程を要する推論能力までもが蒸留で移転できるという事実です。教師モデルが生成した思考過程つきの出力データ約80万件を教材にした、出力ベースの蒸留である点も示唆的で、教師の重みにアクセスできなくても高度な能力移転が成立します。数十Bクラスの蒸留モデルなら、ハイエンドGPU数枚のオンプレミス環境でも動かせるため、機密データを外部APIへ出せない企業の選択肢を広げました。導入側の視点では、蒸留モデルを選ぶ際にベンチマークの数字だけでなく、由来した教師モデルとライセンス、学習データの透明性を確認することが実務の勘所です。同じ「蒸留版」でも、教師の系譜によって得意分野と癖が異なります。

GemmaやSLM開発で標準化した蒸留：主要ベンダーの採用状況

GoogleはGemma 2の技術報告書（2024年公開）で、9B・2Bの小型モデルの学習に知識蒸留を採用したことを明記しています。応答速度と料金を抑えたGemini Flash系のような「小型高速版」を旗艦モデルと並行提供する製品構成は各社に共通しており、その裏では大型モデルの能力を引き継がせる蒸留系の技術が使われています。MicrosoftのPhiシリーズに代表されるSLM（小規模言語モデル）の潮流も、上位モデルが生成した高品質な合成データで小型モデルを鍛えるという、広義の蒸留に支えられた動きです。

2026年時点で押さえておくべきなのは、蒸留がもはや「適用するかどうかを議論する特殊技術」ではなく、モデルファミリーを構成する標準工程になったという状況認識です。API利用側の企業にとっても、ベンダーが提供する小型モデルの多くが蒸留産であることを踏まえ、上位モデルとの性能差をタスク単位で実測して使い分ける姿勢が費用対効果を左右します。

推論コスト削減の実測値とエッジ・モバイル環境で得られる導入効果

蒸留の投資対効果は、推論コストの削減額と、これまで不可能だった環境への搭載という2つの面に現れます。この章では、クラウド運用でのコスト構造、エッジ導入の実際、ローカルLLM運用との関係、そして精度低下との折り合いの付け方を扱います。

推論単価とGPU使用時間を抑えるクラウド運用でのコスト削減効果

クラウドでAIモデルを運用する場合、コストの主因はGPUインスタンスの稼働時間です。蒸留でモデルが小さくなれば、1リクエストあたりの計算量が減り、同じハードウェアで処理できるリクエスト数が増えます。推論速度が60%向上したDistilBERTの例なら、同一スループットを保つために必要なインスタンス数を理論上4割前後削減できる計算です。安価なGPUや CPUインスタンスへの移行が可能になれば、削減幅はさらに広がります。

外部APIを利用する構成でも理屈は同じです。前述のとおり上位モデルと小型モデルの単価差は大きく、月間数百万リクエスト規模のサービスであれば、定型タスクを蒸留モデルへ振り替えるだけで月額費用の桁が変わることもあります。効果額は「対象タスクのリクエスト数×単価差」で事前に見積もれるため、蒸留プロジェクトの投資判断は他のAI施策より定量化しやすい部類に入ります。

試算の例を挙げます。1リクエストあたり0.2円のモデルで月300万リクエストを処理していれば月60万円、蒸留版で単価が4分の1になれば月45万円の削減です。蒸留の開発に数百万円を投じても1年以内に回収できる計算で、リクエスト数が多いほど回収は早まります。逆に月数万リクエストの用途では削減額が月数千円にとどまり、開発費を回収できません。この損益分岐の試算が、蒸留プロジェクトの最初の意思決定資料になります。

スマートフォン翻訳・監視カメラ・医療機器で進むエッジ導入事例

エッジ導入の典型例が、スマートフォンのオフライン翻訳です。大規模な翻訳モデルを蒸留した軽量版を端末に搭載することで、通信環境のない場所でも翻訳が動き、クラウド往復の待ち時間も消えます。監視カメラでは、端末内での人物・異常検知により、映像を常時アップロードしない構成にでき、帯域コストと個人情報の扱いの両面で利点が生まれました。医療分野でも、ウェアラブル機器上での不整脈検知のような、遅延と通信断が許されない用途で蒸留モデルの搭載が進んでいます。

配備の実装面では、エッジ向けランタイムの整備が追い風になっています。GoogleのTensorFlow Liteは2024年9月にLiteRTへ改称して継続開発されており、ONNX Runtimeと並んで蒸留済みモデルのモバイル・組み込み配備の受け皿になっています。蒸留で小型化し、量子化で仕上げ、これらのランタイムで配備するという一連の流れが、エッジAI開発の標準的な工程として定着しました。両ランタイムはスマートフォンのNPUやGPUへ処理を振り向けるアクセラレータ連携も備えており、蒸留で小さくしたモデルをさらに数倍速く動かせる環境が整っています。エッジ配備の検討では、モデルの軽量化とランタイム側の加速機能をセットで設計に織り込むことが工数の節約につながります。

ローカルLLM運用と蒸留モデル：オンプレミス推論の現実的な選択肢

機密データを外部のAPIへ送れない、あるいは月額のAPI費用を固定費化したいという理由で、LLMを自社環境で動かすローカルLLM運用を選ぶ企業が増えています。この選択を現実的にしているのが蒸留済みの公開モデル群です。DeepSeek-R1蒸留版やGemmaのような小型モデルなら、数十GB級のVRAMを持つワークステーションやサーバー1台でも実用速度で動きます。必要なハードウェア要件や構築手順はローカルLLMの必要スペックと構築手順の解説にまとめています。

自社データでの追加学習まで視野に入れるなら、公開蒸留モデルを土台に選ぶことで、学習・推論の両方のハードウェアコストを抑えられます。公開されている小型モデルの多くはGGUFなどの量子化済み形式でも配布されており、蒸留と量子化を重ねた成果物を選んで導入するだけで済む場面も増えました。フルサイズの数百Bモデルを自社で保有・運用する選択肢は、2026年時点でも大半の企業にとって過剰です。蒸留モデルで要件を満たせるかをまず検証し、足りない部分だけ上位モデルのAPIを併用するハイブリッド構成が、コストと性能の釣り合いを取りやすい落としどころになります。

精度低下と圧縮率のトレードオフ：業務要件から許容ラインを決める手順

蒸留は精度低下を抑えやすい手法ですが、ゼロにはなりません。判断を誤らないコツは、精度の許容ラインをモデル指標ではなく業務指標から逆算することです。たとえば問い合わせ分類の正解率が97%から95%に下がったとき、誤分類1件あたりの手直しコストと、推論費用の削減額を同じ表に載せて比較します。差し引きで削減額が上回るなら、その精度低下は受け入れてよい劣化です。

手順としては、まず現行モデルで業務KPIとの対応表を作り、次に圧縮率の異なる生徒モデルを2〜3本用意して、精度とコストの曲線上で損益分岐点を探します。全リクエストを一律に小型モデルへ流す必要はなく、確信度の低い入力だけを上位モデルへ回すカスケード構成にすれば、体感品質を保ったまま平均コストを下げられます。トレードオフは「精度か費用か」の二者択一ではなく、ルーティング設計で緩和できる制約として扱ってください。たとえば読み取り精度99%が契約要件のOCR案件では圧縮より精度を優先し、多少の誤りが許される社内検索では圧縮側へ寄せる、という具合に、線引きは用途ごとに変わります。

知識蒸留を採用すべき場面と見送るべき場面：受託開発視点の判断基準

最後に、知識蒸留を自社プロジェクトに採用すべきかどうかの判断基準を、AI開発を受託する立場で見てきた失敗パターンも含めて言い切ります。技術的に可能かどうかではなく、投資が回収できるかどうかで判断するのがこの章の立場です。

知識蒸留の採用が向く3条件：推論回数・遅延要件・デバイス制約

採用を推す条件は3つです。第一に推論回数が多いこと。蒸留の初期投資は運用時の推論コスト削減で回収するため、月間数十万リクエストを超えるあたりから効果が明確になります。第二に応答遅延の上限が厳しいこと。対話UIの体感を左右する数百ミリ秒の短縮に、モデル軽量化は直接効きます。第三にエッジやモバイルなどデバイス制約があること。この場合は蒸留がコスト削減策ではなく、そもそも搭載を可能にする成立条件になります。

いずれか1つでも強く当てはまり、かつ手本となる高精度モデル（自社開発品でも公開モデルでも構いません）を確保できるなら、蒸留は検討に値します。3条件のどれにも当てはまらない社内ツールや低頻度バッチ処理であれば、上位モデルをそのまま使うほうが総コストは安く済みます。着手の目安を挙げるなら、推論用のGPUインスタンス費用が月数十万円を超えている、あるいは応答時間の95パーセンタイルが要件を大きく超過している状態は、蒸留の検討を始めてよい水準です。

蒸留を見送るべき場面：教師モデル不在・少量データ・頻繁な要件変更

見送りを推す場面も明確です。まず、対象タスクで高精度を出せる教師モデルが存在しない場合。生徒の精度は教師で頭打ちになるため、教師づくりから始める体力がないなら蒸留は成立しません。次に、蒸留学習に回せるデータが少ない場合。ソフトターゲットの利点はデータ量があってこそ効くため、数百件規模のデータしかない案件では、既存モデルのプロンプト設計やRAGで対処するほうが早道です。ただし「少量データ」の判断では、ラベルなしデータの在庫も勘定に入れてください。前述のとおり蒸留はラベルなしデータを教材にできるため、ラベル付きが少なくても生データが潤沢にあるなら成立の余地があります。

そして、要件が頻繁に変わるプロジェクトの初期段階。仕様が動くたびに教師の再学習と再蒸留が発生し、軽量化の利益を工数が食い潰します。PoC段階では上位モデルをそのまま使って要件を固め、本番移行時の恒久コスト削減策として蒸留を計画する。この順番なら投資が無駄になりません。蒸留は「作るものが決まってから効く」技術だと覚えてください。

よくある失敗パターンと回避策：容量ギャップと蒸留データの偏り

実装段階の失敗は型が決まっています。1つ目は教師と生徒の容量差を欲張りすぎるパターンで、前述のとおり段階的な縮小かTeacher Assistant方式で回避します。2つ目は蒸留データの偏りです。教師の学習分布と異なる偏ったデータで蒸留すると、生徒は偏った知識だけを継承し、本番入力で precision が急落します。クラス比率と入力分布の検査を蒸留前の必須工程にしてください。

3つ目は権利面の見落としです。商用APIの出力を使って競合するモデルを開発することは、OpenAIをはじめ多くの事業者の利用規約が制限しています（2026年時点）。外部APIの出力を蒸留の教材にする設計は、契約とライセンスの確認を通してからでないと、開発後に成果物が使えなくなるリスクを抱えます。4つ目は評価の手抜きで、開発環境のGPUでしか性能を測らず、本番のCPU環境で要件を満たせないケースが典型です。回避策はいずれも工程の前倒し確認であり、技術的な難問ではありません。

自社開発と外部委託の判断基準：PoCから本番導入までの進め方

機械学習の学習パイプラインを日常的に回しているチームが社内にあるなら、蒸留の内製は十分に可能です。判断が分かれるのは、モデル開発の経験が浅い、あるいはデータサイエンティストが他案件で埋まっている場合で、このときは教師モデルの品質評価から生徒モデルの配備までを一括で外部へ出すほうが、試行錯誤の期間を短縮できます。とくに容量ギャップの調整やハイパーパラメータ探索は経験値がものを言う工程であり、初回案件を独学で進めると評価と再学習の反復で数か月を失いがちです。

進め方としては、対象タスクと業務KPIの合意、教師モデルと データの棚卸し、小規模な蒸留PoCでの精度・コスト実測、本番配備とモニタリング設計、という4段階を推奨します。PoCの段階では圧縮率の異なる生徒モデルを複数本比較し、前章の損益分岐試算に実測値を流し込んで投資判断を確定させます。当社でも機械学習モデル開発の受託サービスで、モデルの軽量化・蒸留を含む設計から運用までを支援していますので、教師モデルの選定段階からの相談も可能です。社内に判断材料がない状態で機材やライセンスを先に調達するのが、最も高くつく失敗です。

よくある質問

知識蒸留について、検討段階の技術者からよく受ける質問と回答をまとめます。導入判断や社内説明の材料にしてください。

知識蒸留とファインチューニングはどう違いますか？

目的が異なります。ファインチューニングは学習済みモデルを特定のタスクやドメインに適応させて「賢くする」技術で、モデルの大きさは基本的に変わりません。知識蒸留は大きなモデルの能力を小さなモデルへ移して「軽くする」技術です。実務では、ファインチューニングで育てたモデルを教師にして蒸留する、という直列の組み合わせがよく使われます。

知識蒸留で精度はどの程度下がりますか？

タスクと圧縮率に依存しますが、公開事例が目安になります。DistilBERTはパラメータ40%削減でBERTの97%前後の性能を維持し、TinyBERTは7.5分の1のサイズで96%超を報告しています。おおまかには「サイズ半減で数%以内の低下」が設計の出発点です。ただし固有のデータでは必ず実測が必要で、確信度の低い入力だけ上位モデルへ回すカスケード構成にすれば、体感品質の低下をさらに抑えられます。検証の際は平均精度だけでなく、業務上致命的なクラスの再現率など、要件に直結する指標で劣化を測ってください。

教師モデルには何を選べばよいですか？

第一条件は対象タスクでの精度です。生徒モデルの性能は教師を超えられないため、まず教師単体で業務要件を満たすことを確認します。自社開発モデルのほか、ライセンス上問題のない公開モデルも候補になります。商用APIの出力を教材にする場合は、競合モデル開発を制限する利用規約に抵触しないかの確認が先です。規模は大きいほど良いわけではなく、生徒との容量差が開きすぎると蒸留効率が落ちる点にも注意してください。

温度パラメータTはどう決めればよいですか？

T=2〜5の範囲から探索を始めるのが提案論文以来の通例です。まずT=2で学習してベースラインを取り、1段階ずつ上げて検証精度を比べます。クラス数が少ないタスクでは低め、クラス数が多い分類ではやや高めが効く傾向があります。Tを上げるほど教師の出力分布がなだらかになり、クラス間関係の情報が増える一方でノイズも増幅されるため、検証データでの実測以外に正解を知る方法はありません。

商用APIの出力を蒸留に使ってもよいですか？

契約次第です。OpenAIをはじめ多くの提供事業者は、出力を利用して競合するモデルを開発することを利用規約で制限しています（2026年時点）。一方、OpenAI自身がModel Distillation機能を提供しているように、同一プラットフォーム内での蒸留は公式にサポートされる形態もあります。DeepSeek-R1蒸留モデルのようにMIT系ライセンスで公開されたモデルを土台にする方法もあり、権利関係の整理は蒸留プロジェクトの最初の工程に置くべき確認事項です。契約書やライセンス条項の読み合わせは開発チーム任せにせず、法務も交えて初期に済ませておくと手戻りがありません。

関連記事

• ファインチューニングとは？LLMの追加学習の仕組み・RAGとの違いと使い分けを解説：蒸留とよく比較される「追加学習」側の技術を、導入判断の視点で整理しています。
• LLMとは？大規模言語モデルの仕組み・生成AIとの違いと企業導入の判断基準を解説：蒸留の対象となる大規模言語モデルそのものの基礎を押さえたい方向けの解説です。
• MLOpsとは？機械学習の運用を支える仕組みと導入判断をわかりやすく解説：蒸留後のモデルを本番で回し続けるための運用基盤について解説しています。