転移学習(transfer learning)は、あるタスクやドメインで得た知識を、別のタスクやドメインの学習に再利用する手法です。画像なら約128万枚で学習済みの画像認識モデルを、言語なら大規模テキストで学習済みの言語モデルを土台にして、手元の少ないデータで新しい判定モデルを作ります。この記事では、ファインチューニング・特徴抽出・ドメイン適応・蒸留との違い、種類の分け方、花102種を1クラス10枚だけで学習させた実測結果、PyTorchとPEFTでの実装コード、負の転移で失敗する条件までを順に扱います。
まとめ:転移学習は学習済みモデルの重みを初期値にして少量データで精度を出す手法
転移学習は特定のアルゴリズム名ではなく、「学習済みモデルの知識を別タスクへ持ち込む」設計方針の総称です。ファインチューニングも特徴抽出もドメイン適応も、この中に含まれる手法の名前です。
- ファインチューニングとの違い:転移学習が上位概念で、ファインチューニングは事前学習済みの重みまで小さな学習率で更新する一手法。出力層だけ学習し直す特徴抽出も転移学習に入ります。
- 効く理由:入力に近い層ほど、どのタスクにも通じる汎用的な特徴(エッジ・色・質感)を捉えているため、そのまま使い回せます。
- 実測:花102種・1クラス10枚(計1,020枚)で、ゼロから学習したResNet18は正解率21.6%、ImageNet事前学習済みの特徴抽出は84.7%、ファインチューニングは88.5%でした。
- 選び方:データが少なく事前学習と近い題材なら特徴抽出から始め、頭打ちならファインチューニングへ。LLMの追加学習でメモリが制約になる場合は、LoRAなどのPEFTを検討します。
- 失敗:題材がかけ離れていると、ゼロから学習するより精度が下がる「負の転移」が起きることがあります。学習率を大きくしすぎても事前学習の知識が壊れます。
以下、仕組み→種類→違い→実測→実装→採用判断の順に見ていきます。
転移学習の仕組みと事前学習の知識が新しいタスクで効く理由
転移学習は「事前学習」と「転移」の2段階で進みます。概念を実装できる粒度まで分けると、何を再利用しているのかがはっきりします。
事前学習と転移の2段階:ImageNet学習済み重みの初期値への再利用
第一段階の事前学習(pre-training)では、大規模なデータでモデルを学習させます。画像分野の定番はImageNetで、分類コンペで使われたILSVRC-2012の学習用データは1,000クラス・1,281,167枚です(ILSVRCの原論文。ImageNet全体は2014年8月時点で21,841カテゴリ・14,197,122枚)。torchvisionが配布するResNet18の事前学習済み重み(IMAGENET1K_V1)は、このデータでtop-1正解率69.758%、パラメータ数は1,170万です。
第二段階の転移では、この重みを乱数の代わりに初期値として読み込み、手元のデータで学習し直します。出発点がすでに「画像の特徴を捉えられる状態」なので、少ない反復とデータで収束します。重みと層の関係はニューラルネットワークの仕組みとPyTorch実装で扱っています。
入力に近い層は汎用・出力に近い層はタスク固有という階層性
畳み込みネットワークは、入力に近い層ほどエッジや色の塊のような汎用的なパターンを、出力に近い層ほど「花びらの形」「車輪」のようなタスク固有の特徴を捉えます。Yosinskiらの2014年の論文は、ImageNetで学習したネットワークの特徴が、最初の層の一般的(general)なものから最後の層の固有(specific)なものへ移っていくことを実験で示し、元のタスクと転移先のタスクの距離が大きいほど転移の効果が下がると報告しています。
この階層性から、実装上の指針が2つ出てきます。汎用の低層はそのまま凍結して使い、タスク固有の高層と出力層を学習し直せば足りること。そして事前学習の題材と手元の題材が遠いほど、使い回せる層が浅くなることです。手元のデータが少ないときに転移学習が効くのは、学習し直す範囲を絞れるからです。
転移学習の具体例:外観検査・文書分類・音声認識
業務でよく見る転移の組み合わせを、事前学習側と転移先で並べます。
| 転移先の業務 | 事前学習モデルの例 | 手元で用意するもの |
|---|---|---|
| 製造ラインの外観検査 | ImageNet学習済みのResNet・EfficientNet | 良品・不良品の画像 |
| 医療画像の所見分類 | ImageNet学習済みのCNN・ViT | 所見ラベル付きの画像 |
| 問い合わせ・契約書の分類 | 日本語BERTなどの言語モデル | 分類ラベル付きの文書 |
| 社内用語を含む音声の文字起こし | Whisper・wav2vec 2.0 | 音声と書き起こしの対 |
| LLMの社内様式への調整 | 公開重みのLLM | 指示と回答の対 |
どの例も、手元で用意するのはラベル付きの少量データだけで、特徴の捉え方そのものは事前学習モデルから借りています。外観検査のように不良品の画像がそもそも集まりにくい業務ほど、この借りが大きく効きます。検査タスク別のモデルの選び方は画像検査のアルゴリズム選定と精度評価にまとめています。
転移学習の種類:帰納的・トランスダクティブ・教師なしの3分類
転移学習の分類は、2010年のサーベイ論文(Pan & Yang「A Survey on Transfer Learning」IEEE TKDE)の整理が今も基準になっています。分け方の軸は「ソース(転移元)とターゲット(転移先)で、タスクが同じか」「ターゲットにラベルがあるか」の2つです。
| 種類 | タスク | ターゲットのラベル | 代表的な手法 |
|---|---|---|---|
| 帰納的転移学習 | 異なる | あり | 特徴抽出・ファインチューニング |
| トランスダクティブ転移学習 | 同じ(ドメインが異なる) | なし | ドメイン適応 |
| 教師なし転移学習 | 異なる | なし(ソースにも無い) | クラスタリング等への転移 |
業務で使う転移学習の大半は帰納的転移学習です。ImageNetの1,000クラス分類で学習したモデルを、自社の不良品判定という別タスクに、ラベル付きの少量データで合わせるのがこれにあたります。同じタスクを分布の異なる環境へ持ち込む場合は、ドメイン適応を検討します。ターゲット側のラベルの有無に応じて、教師あり・半教師あり・教師なしの設定があります。
ドメイン適応:昼間と夜間の画像分布のずれへの対応
ドメイン適応(domain adaptation)は、タスクは同じでデータの分布だけが違う場面で、そのずれを埋める手法群です。昼間の道路画像で学習した検出モデルを夜間に使う、製品Aの検査画像で学習したモデルを製品Bに使う、といった場面が該当します。
代表的な方式がDANN(Domain-Adversarial Neural Network、Ganinら 2016年)です。ラベル付きのソースデータとラベルなしのターゲットデータを同時に使い、特徴抽出器の後ろに「どちらのドメインの画像か」を当てる分類器を付けます。間に入れた勾配反転層は、順伝播では値をそのまま通し、逆伝播では勾配に−1を掛けます。このため特徴抽出器は、ドメインを見分けにくい特徴を学ぶ方向へ更新されます。ターゲット側にラベルがほとんど無くても使えるのが、通常のファインチューニングとの違いです。逆に、ターゲット側でもラベル付きデータを用意できるなら、ドメイン適応を組むよりファインチューニングの方が実装も検証も軽く済みます。
ファインチューニング・特徴抽出・蒸留と転移学習の違い
「ファインチューニング 転移学習 違い」で検索されることが多いのは、両者がしばしば同じ意味で使われるためです。関係を正確に書くと、転移学習が上位概念で、特徴抽出とファインチューニングはその実装方式です。
特徴抽出とファインチューニングの違い:凍結する範囲と学習率
特徴抽出(feature extraction)は、事前学習済みの層をすべて凍結し、出力層だけを新しいクラス数で作り直して学習します。ファインチューニングは凍結を一部または全部解除し、事前学習済みの重みまで小さな学習率で更新します。PyTorch公式チュートリアルも、この2つ(finetuning と fixed feature extractor)を転移学習の主要な方式として並べています。
| 観点 | 特徴抽出 | ファインチューニング |
|---|---|---|
| 更新する層 | 出力層のみ | 事前学習層の一部〜全部 |
| 学習するパラメータ(ResNet18・102クラス) | 52,326(出力層のみ) | 11,228,838(全層) |
| 今回の実測の学習時間(CPU) | 約2分(特徴の計算130秒+出力層は数秒) | 約19分(1,153秒) |
| 向く場面 | 少量データ・題材が近い | データがやや多い・題材に差 |
| 主なリスク | 精度の頭打ち | 過学習・知識の破壊 |
使い分けの軸は、データ量と、事前学習の題材と手元の題材の近さです。Keras公式ガイドが示す定番の流れは、まず事前学習モデルを凍結して新しい出力層を学習させ、収束してから全体または一部の凍結を解いて、非常に小さな学習率で全体を学習し直すというものです。特徴抽出から始めてファインチューニングへ進む順序なら、最初の段階で出力層が落ち着いているぶん、事前学習済みの重みを壊しにくくなります。
知識蒸留・マルチタスク学習・Few-shotとの違い
転移学習と並べて語られる手法は、目的が違います。知識蒸留(distillation)は、大きな教師モデルの出力を真似させて小さな生徒モデルを作る手法で、目的は「同じタスクを軽いモデルで解くこと」です。転移学習はタスクやドメインをまたぐ知識の再利用、蒸留は教師モデルから生徒モデルへの知識の受け渡しに着目します。両者は併用でき、対立する概念ではありません。モデルを軽くする手法としては、ほかに量子化(PTQ・QAT)があります。
マルチタスク学習は、複数のタスクを1つのモデルで同時に学習させます。この記事で扱う事前学習後の適応とは異なり、複数タスクを同時に学習します。ただし、PanとYangの分類では、マルチタスク学習も帰納的転移学習の関連設定として扱われます。Few-shotプロンプトは、LLMの重みを一切更新せず、プロンプトに数件の例を書いて振る舞いを変える方法で、学習を伴わない点で転移学習とは別物です。
LLMの追加学習におけるLoRAの省メモリ設計
数十億パラメータのLLMでは、全層のファインチューニングはGPUメモリと保存容量の負担が大きすぎます。そこで使われるのが、元の重みを凍結したまま少数のパラメータだけを学習するPEFT(Parameter-Efficient Fine-Tuning)で、追加学習のメモリ負担を抑えられます。代表のLoRAは、原論文(Huら 2021年)でGPT-3 175Bの全層ファインチューニングと比べ、学習するパラメータ数を1万分の1、GPUメモリを3分の1にできると報告しています。学習後に残るのは小さなアダプタの重みだけなので、1つの元モデルに業務ごとのアダプタを付け替える運用もできます。
言語モデルの追加学習をどう設計し、外部知識を検索して渡すRAGとどう使い分けるかはファインチューニングの仕組みとRAGとの違いで、4bit量子化と組み合わせてVRAMを抑える方法はQLoRAの仕組みとVRAM目安で扱っています。
実測:花102種を1クラス10枚で学習させた転移学習とゼロからの学習の精度差
転移学習の効果を数字で確かめるため、ResNet18の基本3方式と、学習率を大きくした追加条件を比較しました。学習・検証データは共通ですが、最適化手法、更新回数、前処理は方式ごとに異なります。データはOxford大学の花画像データセット102 Category Flower Dataset(torchvisionのFlowers102)で、102種類の花を、学習用・検証用とも1クラス10枚ずつ(各1,020枚)に分けた公式の分割をそのまま使いました。学習に使ったのは学習用の1,020枚だけで、正解率は検証用の1,020枚で測っています。ゼロから学習するには明らかに少ない量です。
| 方式 | 初期値 | 学習する範囲 | エポック | 正解率 | 学習時間 |
|---|---|---|---|---|---|
| ゼロから学習 | 乱数 | 全層(lr=0.05) | 10 | 21.6% | 約18分(1,084秒) |
| 特徴抽出 | ImageNet学習済み | 出力層のみ | 300(特徴は事前計算) | 84.7% | 約2分(特徴の計算130秒+出力層は数秒) |
| ファインチューニング | ImageNet学習済み | 全層(本体lr=0.001) | 10 | 88.5% | 約19分(1,153秒) |
| 学習率が大きすぎるFT | ImageNet学習済み | 全層(lr=0.1) | 10 | 2.6% | 約16分(974秒) |
同じ1,020枚・同じ10エポックでも、乱数から学習したResNet18は21.6%にとどまりました。ImageNetで学習済みの重みから始めたファインチューニングは88.5%で、差は66.9ポイントです。特徴抽出は出力層の52,326パラメータしか学習していないのに84.7%で、全11,228,838パラメータを動かしたゼロからの学習を63.1ポイント上回り、学習時間も約8分の1で済みました。一方、同じ事前学習済みの重みでも学習率を0.1にすると2.6%まで落ち、ゼロからの学習さえ下回りました。事前学習で得た知識は、大きすぎる更新で簡単に壊れます。
1クラスあたりの枚数を1・2・5・10枚に変えたときの特徴抽出の精度
特徴抽出は特徴を一度計算すれば出力層の学習が数秒で終わるので、学習データの枚数を変えて3回ずつ測りました(評価は同じ検証用1,020枚)。
| 1クラスあたり | 学習枚数 | 正解率(3回の平均) | 最小〜最大 |
|---|---|---|---|
| 1枚 | 102枚 | 43.2% | 42.1〜45.1% |
| 2枚 | 204枚 | 59.4% | 58.6〜60.1% |
| 5枚 | 510枚 | 76.5% | 76.3〜77.1% |
| 10枚 | 1,020枚 | 84.7% | 84.1〜85.6% |
1クラス1枚、つまり102枚だけでも43.2%を出し、102択をでたらめに当てる確率(約1%)の40倍以上です。1枚から2枚で16.2ポイント、2枚から5枚で17.1ポイント伸びたあと、5枚から10枚では8.2ポイントに縮みます。今回の結果は、少量で試してから追加収集の効果を確かめる進め方の参考になります。ただし、このデータセットの1〜10枚の結果だけでは、別の業務での必要枚数や精度の頭打ちは判断できません。
測定条件:Intel Mac(CPU 8スレッド)、Python 3.11、torch 2.2.2・torchvision 0.17.2、2026年11月15日。前処理はImageNetの平均・標準偏差で正規化しました。ゼロからの学習と全層ファインチューニングでは学習時にランダム切り抜きと左右反転を使い、特徴抽出では学習用・検証用ともリサイズと中央切り抜きを使いました。特徴抽出以外は乱数シード0で各1回測定した結果です。複数シードでの再測定は行っていないため、ばらつきの幅は評価していません。学習時間は同じMacで別の処理と並行して測った参考値です。
PyTorchとPEFTで転移学習を実装する手順
以下はモデルと学習対象を設定するコード例で、データ読み込み・学習ループ・評価処理は含みません。実測の特徴抽出では、固定特徴を事前計算し、出力層をAdamで300回更新しています。torchvision 0.13以降のweights引数の書き方に合わせています。
特徴抽出:事前学習済み層の凍結と出力層の学習
import torch
from torch import nn
from torchvision import models
weights = models.ResNet18_Weights.IMAGENET1K_V1
model = models.resnet18(weights=weights)
for p in model.parameters():
p.requires_grad = False # 事前学習済みの層をすべて凍結
model.fc = nn.Linear(model.fc.in_features, 102) # 出力層を新しいクラス数で作り直す(ここだけ学習される)
preprocess = weights.transforms() # 配布重みが指定する推論用のリサイズ・中央切り抜き・正規化
optimizer = torch.optim.SGD(model.fc.parameters(), lr=0.01, momentum=0.9)
model.eval() # 凍結した層のBatchNormの統計値を更新させない
見落としやすいのが最後のmodel.eval()です。requires_grad=Falseは重みの勾配を止めるだけで、学習モードのままだとBatchNorm層の移動平均(running_mean・running_var)は手元のデータで書き換わります。Kerasの公式ガイドも、BatchNormalizationを含むモデルは凍結を解いてファインチューニングするときでも推論モード(training=False)に保つよう求めています。前処理も、事前学習時と同じ正規化をweights.transforms()で揃えないと、凍結した特徴がずれます。
ファインチューニング:本体と出力層の学習率の個別設定
model = models.resnet18(weights=weights)
model.fc = nn.Linear(model.fc.in_features, 102)
body = [p for n, p in model.named_parameters() if not n.startswith("fc.")]
optimizer = torch.optim.SGD([
{"params": body, "lr": 1e-3}, # 事前学習済みの層は小さく動かす
{"params": model.fc.parameters(), "lr": 1e-2}, # 新しい出力層は大きく動かす
], momentum=0.9, weight_decay=1e-4)
# 段階的に解除する場合:最後の層ブロック(layer4)と出力層だけ学習させる
for name, p in model.named_parameters():
p.requires_grad = name.startswith(("layer4.", "fc."))
本体の学習率を出力層の1/10にするのは、乱数で初期化した出力層は大きく動かす必要がある一方、事前学習済みの重みは少しずつ合わせたいからです。データが少なく過学習が出る場合は、下の段階解除のように出力に近いブロックだけを学習させ、精度を見ながら解除範囲を広げます。EfficientNetV2で同じ作業をする手順はEfficientNetV2をPyTorchで使う実装ガイドにあります。
日本語BERTの転移学習:LoRAと分類層の学習対象の設定
from transformers import AutoModelForSequenceClassification
from peft import LoraConfig, get_peft_model, TaskType
base = AutoModelForSequenceClassification.from_pretrained(
"tohoku-nlp/bert-base-japanese-v3", num_labels=3) # 日本語BERTで3クラス分類
config = LoraConfig(task_type=TaskType.SEQ_CLS, r=8, lora_alpha=16,
lora_dropout=0.1, target_modules=["query", "value"])
model = get_peft_model(base, config)
model.print_trainable_parameters()
# trainable params: 297,219 || all params: 111,506,694 || trainable%: 0.2665
PEFTのLoraConfigのrは追加する低ランク行列のランク、target_modulesはLoRAを差し込む層、lora_alphaはスケーリング係数です。上のコードをtransformers 4.46.3・peft 0.13.2で実行すると、学習対象は全1億1,150万パラメータのうち29万7,219(0.27%)でした。内訳は、12層の自己注意のquery・valueに付いたLoRA行列が29万4,912、新しい分類層が2,307です。PEFTの公式Quicktourでも、Llama-3.2-1BにLoRAを付けた例の学習対象は0.0424%と示されています。
転移学習を採用すべき条件と負の転移で失敗するパターン
転移学習は万能ではありません。効く条件が決まっていて、外すとゼロから学習するより精度が下がります。
転移学習の採用条件:少量のラベル付きデータと事前学習との題材の近さ
次の3つがそろうなら、迷わず転移学習から始めます。第一に、ラベル付きデータが少ないこと。今回の実測では1クラス10枚でも、特徴抽出で84.7%が出ています。第二に、事前学習モデルの題材と手元の題材が近いこと(自然画像どうし、日本語の文書どうし)。第三に、題材に合う事前学習モデルが公開されていること。画像分類・物体検出・文書分類はどれも満たしやすい領域です。
逆に、ラベル付きデータが数百万件規模で手元にあり、題材が既存モデルと大きく違うなら、転移にこだわる理由は薄れます。ラベル付けの工数そのものが課題なら、先にラベル設計と一致率の測り方を決めておくと、少量データでも学習が安定します。
負の転移:題材の違いによるリスクと転移なしのモデルとの比較
負の転移(negative transfer)は、転移した知識が手元のタスクに合わず、ゼロから学習したモデルより精度が下がる現象です。Wangら(CVPR 2019)は、同じ学習アルゴリズムでソースのデータを使った場合と使わない場合のターゲットでの誤差を比べ、使った方が悪ければ負の転移、と定義しています。つまり判定には「転移しなかった場合」との比較が要ります。
実装・運用で確認する項目は4つあります。1つ目は、自然画像で学習したモデルを、X線画像や顕微鏡画像、時系列をグラフ化した画像のように見た目が大きく違う題材にそのまま使うこと。2つ目は、少量データなのに全層を大きな学習率で更新し、事前学習の知識を壊すこと(上の実測で学習率0.1のファインチューニングが2.6%まで落ちたのがこれです)。3つ目は、凍結したつもりでBatchNormの統計値を更新してしまうこと。4つ目は、事前学習済み重みの利用条件を確認しないことです。torchvisionの公式ドキュメントも、配布する事前学習済みモデルには独自のライセンスや利用条件がある場合がある、と注記しています。
負の転移の確認では、本格導入の前に、同じデータ・同じ学習範囲・同じ最適化条件で、初期値だけを事前学習済みの重みと乱数に変えた2つのモデルを比べます。事前学習済みの側が下回ったら、題材の近い事前学習モデルへの切り替えかドメイン適応を検討します。特徴抽出とゼロからの全層学習の比較は学習範囲が違うため、負の転移の判定ではなく方式選定の材料として扱います。
内製・外部委託の判断基準:モデル選定と負の転移の検証設計
転移学習の成否を分けるのは、事前学習モデルの選定、凍結範囲と学習率の設計、負の転移の検証の3点です。例えばResNet18を候補にする場合でも、特徴抽出と全層更新を同じ評価データで比べる担当者が必要です。社内で評価データと採用基準を管理し、モデル候補の比較実装を外部に依頼する、といった分担を決めます。社内に機械学習の実装経験が薄い段階では、モデル選定と検証設計だけを外部と組み、運用しながら内製に移す進め方が無理がありません。少量の自社データで判定モデルを立ち上げたい場合は、機械学習モデル開発の支援で、どのデータに転移学習が効くかの見立てから相談できます。
転移学習に関するよくある質問
転移学習とファインチューニングは何が違いますか?
転移学習は「学習済みモデルの知識を別タスクへ持ち込む」設計方針の総称で、ファインチューニングはその一手法です。ファインチューニングは事前学習済みの重みまで小さな学習率で更新します。出力層だけ学習し直す特徴抽出も転移学習に含まれるため、「ファインチューニングは転移学習の一種」と覚えれば混乱しません。LLMの文脈では、追加学習全般をファインチューニングと呼ぶことが多くなっています。
転移学習にはどれくらいの学習データが必要ですか?
この記事の実測(Flowers102)では、花102種を1クラス10枚(計1,020枚)で学習させた特徴抽出が84.7%、ファインチューニングが88.5%で、1クラス1枚でも43.2%でした。ただし花の分類での結果なので、業務で足りるかどうかは、誤判定のコストから要求精度を決め、手元のデータで測って判断します。題材が遠い場合や細かい違いを見分けるタスクでは、枚数を段階的に増やして精度の伸びを測り、頭打ちならファインチューニングに切り替えます。
「学習の転移」と転移学習は同じ意味ですか?
別の分野の言葉です。「学習の転移」は教育心理学の用語で、先に学んだことが後の学習を助けたり(正の転移)、妨げたり(負の転移)する現象を指します。英語を学んだ経験が別の外国語の習得を早める、といった例がこれにあたります。機械学習の転移学習は、この発想をモデルの学習に持ち込んだもので、正の転移・負の転移という呼び方もそのまま受け継いでいます。
負の転移とは何ですか?どう防げますか?
事前学習の知識が手元のタスクに合わず、転移した結果ゼロから学習するより精度が下がる現象です。ソースとターゲットの題材が遠いほど起きやすくなります。防ぐ第一の手は、題材の近い事前学習モデルを選ぶことです。起きているかどうかは、同じデータ・学習範囲・最適化条件で、初期値だけを事前学習済みの重みと乱数に変えたモデルを比べて確かめます。事前学習済みの側が下回ったら、事前学習モデルの切り替えか、ドメイン適応を検討します。
事前学習モデルは自作すべきですか?
大半の業務では公開されている事前学習モデルの再利用で足ります。ImageNet規模の事前学習には約128万枚の画像と大量の計算資源が要り、少量の自社データでは作れません。公開モデルで要件を満たせるか先に検証し、題材が特殊すぎて精度が出ない場合や、ライセンス上使えない場合に限って、自社データでの事前学習を検討します。