---
title: "Integrated Gradients（統合勾配）とは？自動運転E2Eモデルの操舵判断をPyTorch・Captumで帰属計算する手順"
url: "https://www.issoh.co.jp/tech/details/12040/"
published: 2026-05-09
updated: 2026-11-13
categories: ["AI"]
publisher: "株式会社一創"
---

# Integrated Gradients（統合勾配）とは？自動運転E2Eモデルの操舵判断をPyTorch・Captumで帰属計算する手順

Integrated Gradients（統合勾配、IG）は、ニューラルネットワークの出力を入力の各特徴へ割り振る帰属手法です。2017年にSundararajanらが[論文「Axiomatic Attribution for Deep Networks」](https://arxiv.org/abs/1703.01365)で提案しました。勾配をベースラインから入力までの直線上で積分するので、入力点の勾配が0でも、経路上の変化が帰属に残ります。本記事では、IGの定義と2つの公理、ステップ数とベースラインの決め方を原論文で確認し、PyTorchだけで書く最小実装と、カメラ画像から操舵角と加速度を出すEnd-to-End（E2E）自動運転モデルにCaptumで当てる手順、出てきた帰属マップを信じてよいかを確かめる検証までを扱います。

## まとめ：Integrated Gradientsを自動運転モデルに当てるときの要点

- IGは「入力とベースラインの出力差」を特徴ごとに分配する手法です。帰属の合計が出力差に一致する（Completeness）ため、総和の残差を積分近似の検算に使えます。特徴ごとの誤差が相殺される場合もあるので、ステップ数を増やしたときの帰属値の安定性も見ます。
- 原論文は、勾配法がSensitivityを、DeepLIFTとLRPが実装不変性（Implementation Invariance）を破ると指摘し、両方を満たす手法としてIGを示しました。
- ステップ数は原論文の目安が20〜300です。必要数は入力ごとに違うので、`return_convergence_delta=True` で誤差を見て増やします。CaptumでIGを計算するなら、積分法は既定の `gausslegendre` のまま使います。0.9.0の `riemann_trapezoid` は重みの合計が1に届かず、同じ点で正しく重み付けした台形則の(n-1)/n倍の帰属を返します。
- 黒画像ベースラインは黒い画素の寄与を拾えないため、夜間や暗色の車両が絡む走行シーンでは、ぼかし画像など別のベースラインと必ず見比べます。
- 帰属マップは見た目で判断せず、寄与の符号を分けた削除テストと、重みをランダムにしたときの変化（サニティチェック）で裏を取ります。IGは1枚ごとの局所説明なので、それだけで安全性の根拠にはなりません。

## Integrated Gradientsの定義と2つの公理

入力を `x`、ベースラインを `x'`、モデルを `F` としたとき、i番目の特徴の帰属は次の式で定義されます。

`IG_i(x) = (x_i - x'_i) × ∫[α=0→1] ∂F(x' + α(x - x'))/∂x_i dα`

ベースラインから入力へ少しずつ近づけた点で勾配を取り、その平均に「入力とベースラインの差」を掛けたものです。

### 勾配が0になる飽和の例とSensitivityの公理

原論文は、入力とベースラインが1つの特徴だけ異なり予測も異なるなら、その特徴に0でない帰属を与えるべきだという公理をSensitivity(a)と呼びました。勾配がこれを破る例が、1変数のネットワーク `f(x) = 1 - ReLU(1 - x)` です。ベースラインを0、入力を2にすると出力は0から1に変わりますが、x=1より先で関数が平らになるため、入力点での勾配は0です。PyTorchで確かめると勾配は0、勾配に入力を掛けたGradient×Inputも0で、どちらもこの変数の寄与を取りこぼします。IGの値は、勾配が1の区間（xが0から1）の積分で1になります。

### 実装不変性と既存手法の公理対応

もう1つの公理Implementation Invariance（実装不変性）は、すべての入力で同じ出力を返す2つのネットワークには、内部の実装が違っても同じ帰属を返すことを求めます。勾配は連鎖律で中間層を消せるので実装に依存しません。IGも勾配だけから計算するため、この公理を満たします。原論文の整理を表にすると次のとおりです。

| 手法                        | Sensitivity(a) | 実装不変性     |
| ------------------------- | -------------- | --------- |
| 勾配（Saliency）              | 破る             | 満たす       |
| Gradient×Input            | 破る（上の反例で0）     | 満たす       |
| DeConvNet・Guided Backprop | 破る             | （論文で検討なし） |
| DeepLIFT・LRP              | 満たす            | 破る        |
| Integrated Gradients      | 満たす            | 満たす       |

Guided Backpropは順伝播でReLUの入力が正だった位置で正の逆伝播信号だけを通し、DeConvNetは順伝播の符号に関係なく正の逆伝播信号だけを通します。上の反例をCaptumの `GuidedBackprop` と `Deconvolution` に通すと、帰属はどちらも0でした。DeepLIFTとLRPは層ごとに独自の逆伝播規則を使うため、同じ関数を別の層構成で書くと帰属が変わります。Gradient×Inputの行は論文の表記ではなく、反例に当てはめた結果です。

### Completenessによる帰属総和の検算

IGは、各特徴の帰属の総和が `F(x) - F(x')` に一致する性質（Completeness）を持ちます。

実務で効くのは、合計が出力差と合うかを数値で確かめられる点です。合わなければステップ数を増やし、それでも合わなければモデルの状態（Dropoutなど確率的な処理）を疑います。Grad-CAMやSaliencyにはこの検算の手段がありません。

## PyTorchだけで書くIntegrated Gradientsの最小実装

式をそのままコードにすると、補間点を作る、補間点で勾配を取る、勾配を平均して差を掛ける、の3段です。[TensorFlowの公式チュートリアル「統合勾配」](https://www.tensorflow.org/tutorials/interpretability/integrated%5Fgradients?hl=ja)も同じ3段を `tf.GradientTape` で書き、積分は台形則で近似しています。PyTorchなら `torch.autograd.grad` で十数行に収まります。

```
import torch

def integrated_gradients(f, x, baseline, steps=50):
    """台形則でIGを近似する（fはバッチを受けて出力の列を返す）"""
    alphas = torch.linspace(0, 1, steps + 1, device=x.device, dtype=x.dtype).view(-1, *([1] * x.dim()))
    path = (baseline + alphas * (x - baseline)).detach().requires_grad_(True)
    grads, = torch.autograd.grad(f(path).sum(), path)
    avg = ((grads[:-1] + grads[1:]) / 2).mean(dim=0)   # 隣り合う2点の平均＝台形則
    return (x - baseline) * avg

# 原論文の反例 f(x) = 1 - ReLU(1 - x)。ベースライン0、入力2
toy = lambda p: (1 - torch.relu(1 - p)).squeeze(-1)
x, b = torch.tensor([2.0]), torch.tensor([0.0])
for steps in (4, 20, 50):
    print(steps, round(integrated_gradients(toy, x, b, steps).item(), 4))
```

PyTorch 2.2.2で実行すると、4ステップで0.75、20ステップで0.95、50ステップで0.98になり、真値の1にはステップ数を増やすほど近づきます。ずれがちょうど1/ステップ数なのは、補間点の1つが折れ目のx=1に乗り、PyTorchがReLUの0での微分を0と定義しているためです。折れ目を含む区間だけ台形の片側が0になり、その区間の寄与が半分に減ります。

画像モデルに使う場合、この関数にはバッチ次元を除いた画像を渡します。後掲モデルなら画像は `image[0]` とし、`f` は補間画像のバッチを受け、車速を補間点数に合わせて複製し、操舵角の列だけを返す関数にします（例：`steer = lambda img: model(img, speed.expand(img.shape[0], 1))[:, 0]`）。この形でPilotNet型モデルの操舵角に当てると、画像を黒にしたベースラインに対する帰属総和の相対誤差は20ステップで0.30%、50ステップで0.057%、200ステップで0.002%でした。全補間点を1バッチで流すので、大きなモデルでは補間点を分割する処理を足すか、次のCaptumを使います。

## ステップ数と積分法の決め方

積分の近似では、分割数（ステップ数）が精度と計算量を決めます。[原論文（PMLR版PDF）](https://proceedings.mlr.press/v70/sundararajan17a/sundararajan17a.pdf)の記述は「実務上は20〜300ステップで積分を5%以内に近似できる。帰属の総和が入力とベースラインのスコア差におおむね一致するか確認し、合わなければステップ数を増やすこと」です。翻訳モデルでは100〜1000ステップを使ったとも書かれています。

この目安を全入力に一律で当てる運用には異論もあります。言語処理学会第30回年次大会（2024年）の発表「Integrated Gradients における理想の積分ステップ数はインスタンス毎に異なる」は、BERT系の文書分類で、よく使われる固定のステップ数が半数以上の入力では過剰で、一部の入力では足りないことを報告しました。固定値を決め打ちせず、誤差を見て足すのが筋です。

### Captumの積分法とriemann\_trapezoidの重み不足

Captum 0.9.0の `IntegratedGradients.attribute` は、[公式APIリファレンス](https://captum.ai/api/integrated%5Fgradients.html)のとおり既定で `n_steps=50`、積分法 `method='gausslegendre'`（ガウス・ルジャンドル求積）です。ほかに `riemann_left`、`riemann_right`、`riemann_middle`、`riemann_trapezoid` を選べます。

注意が要るのは `riemann_trapezoid` です。[Captumの実装（approximation\_methods.py）](https://github.com/meta-pytorch/captum/blob/master/captum/attr/%5Futils/approximation%5Fmethods.py)は、0から1までをn点で区切りつつ各点の重みを1/nとし、両端だけ半分にしています。重みの合計は(n-1)/nで、1に届きません。勾配が一定の線形モデル（入力10次元）で確かめると、ほかの積分法は帰属の総和が出力差と一致したのに対し、`riemann_trapezoid` はn=20で0.95倍、n=50で0.98倍でした。後述のPilotNet型モデル（画像だけ黒画像ベースライン、車速は入力と同じ値）で、相対誤差（帰属の総和と出力差のずれ÷出力差）を測ると次のとおりです。時間は3回の中央値で、Intel Core i9-9880H（8コア）のCPU、PyTorchのスレッド数8で計測しました。

| 積分法                       | ステップ数 | 相対誤差    | 時間（CPU） |
| ------------------------- | ----- | ------- | ------- |
| Captum gausslegendre      | 10    | 約0.15%  | 0.05秒   |
| Captum gausslegendre      | 20    | 約0.08%  | 0.11秒   |
| Captum gausslegendre      | 50    | 約0.006% | 0.28秒   |
| Captum gausslegendre      | 200   | 約0.001% | 1.12秒   |
| Captum riemann\_middle    | 20    | 約0.13%  | 0.09秒   |
| Captum riemann\_trapezoid | 20    | 約4.5%   | 0.11秒   |
| Captum riemann\_trapezoid | 50    | 約2.0%   | 0.33秒   |
| 自前実装（台形則）                 | 20    | 約0.30%  | 0.10秒   |

Captumの台形則の誤差（n=20で4.5%、n=50で2.0%）は、重み不足による縮み（5%と2%）とほぼ同じ大きさで、誤差の大半は積分の粗さではなく重み付けから来ています。同じ台形則でも、点数をステップ数+1にした自前実装は0.30%に収まります。画素ごとに比べると、Captumの台形則（21点）の帰属は、同じ21点を正しく重み付けした自前実装のちょうど20/21倍でした。マップの形は変わらず全体が一律に縮むので、見た目では気づけず、合計の検算で見つけるしかありません。Captumでは既定の `gausslegendre` か `riemann_middle` を使い、台形則が必要なら自前実装で書きます。時間はどの積分法もステップ数にほぼ比例しました。

## 自動運転E2Eモデルで先に決める3つの設計

E2E自動運転モデルは連続値を複数出し、画像以外の入力も受け取ります。どの出力を、何と比べて、どの入力の単位で説明するかを先に決めておかないと、ヒートマップは描けても解釈できません。

### 操舵角・加速度の出力別target指定

NVIDIAのPilotNetは、66×200画素の画像を5層の畳み込みと3層の全結合で処理し、旋回半径の逆数（1/r）を出力します。直進時に半径が無限大になる特異点を避けるためです。操舵角と加速度のように複数の連続値を出すモデルでは、Captumの `target` に出力の列番号を渡し、出力ごとに別々に帰属を計算します。

後掲の未学習モデルと乱数画像で、操舵角（target=0）と加速度（target=1）の帰属マップのコサイン類似度を取ると0.32で、同じ画像でも出力によって効いている画素は別物でした。また帰属が説明するのは出力値そのものではなく、ベースラインとの差 `F(x) - F(x')` です。ベースラインでの操舵がすでに右寄りなら、入力画像の帰属は「そこからどれだけ左右に振れたか」の内訳になります。

### 黒画像ベースラインが夜間や暗い物体を見落とす理由

式の先頭にある `(x_i - x'_i)` のため、ベースラインと同じ値の画素の帰属は必ず0になります。Distillに掲載されたSturmfelsらの解説[「Visualizing the Impact of Feature Attribution Baselines」](https://distill.pub/2020/attribution-baselines/)（2020年）は、黒一色をベースラインにすると、対象物が黒い画素でできていてもIGはその画素を重要として示さないと指摘しています。走行シーンでは、夜間の暗部、黒い車両、タイヤ、濡れた舗装がこれに当たります。

同じ解説は代替として、ぼかした入力画像、一様乱数の画像、入力を中心にしたガウスノイズの画像を比べ、分布から複数のベースラインを取って帰属を平均するexpected gradientsも示しましたが、どれが最良かの結論は出していません。実務では黒画像とぼかし画像で結果を比較し、共通する領域に加えて片方だけで上位になる領域も調べます。黒画像と同値の画素は黒画像ベースラインで必ず0になるため、共通領域だけに絞ると見落としが残ります。

### 車速や過去フレームなど複数入力の扱い

Captumは入力をタプルで受け取り、ベースラインも同じ形のタプルで指定できます。画像と車速を受けるモデルなら `inputs=(image, speed)`、`baselines=(画像のベースライン, 車速のベースライン)` と渡します。今回の実行では、車速のベースラインを0にすると出力差の約半分が車速に割り振られ、ベースラインを入力と同じ値にすると車速の帰属はちょうど0になりました。比較から外したい入力は、ベースラインを入力と同じ値にすれば固定できます。

過去数フレームを重ねて入れるモデルでは、フレームの次元ごとに帰属を合計すると、どの時刻の画像が効いたかを比べられます。LiDAR点群は、座標0の点が「点が無い」ではなく「センサー原点の点」になるため、鳥瞰図のグリッドに変換した後段に空のセルをベースラインとしてIGを当てます。LiDARの点群処理そのものは[LiDARとは？仕組み・ToF方式・点群処理を実装目線で解説する技術ガイド](/tech/details/13584/)で扱っています。

## CaptumでPilotNet型モデルの操舵角に帰属を出す実装

CaptumはPyTorch向けの解釈手法ライブラリで、PyPIの最新版は2026年4月17日公開の0.9.0です（2026年11月13日確認）。要件はPython 3.10以上、PyTorch 2.3以上で、`pip install captum` で入ります。以下は、PilotNetと同じ入力サイズ（3×66×200）の画像と車速を受けて操舵角と加速度を返す小型モデルにIGを当てる最小構成です。動作確認はcaptum 0.9.0とPyTorch 2.2.2（CPU）で行い、重みは学習していません。PyTorch 2.2.2はCaptum 0.9.0の要件を下回るため、依存を外して入れた環境での確認です。本番では要件どおりの版を使ってください。

```
import torch
import torch.nn as nn
import torch.nn.functional as F
from captum.attr import IntegratedGradients

class PilotNetLike(nn.Module):
    """カメラ画像(3x66x200)と車速から [操舵角, 加速度] を出す"""
    def __init__(self):
        super().__init__()
        self.conv = nn.Sequential(
            nn.Conv2d(3, 24, 5, stride=2), nn.BatchNorm2d(24), nn.ELU(),
            nn.Conv2d(24, 36, 5, stride=2), nn.ELU(),
            nn.Conv2d(36, 48, 5, stride=2), nn.ELU(),
            nn.Conv2d(48, 64, 3), nn.ELU(),
            nn.Conv2d(64, 64, 3), nn.ELU(),
        )
        self.head = nn.Sequential(nn.Linear(64 * 1 * 18 + 1, 100), nn.ELU(),
                                  nn.Linear(100, 10), nn.ELU(), nn.Linear(10, 2))

    def forward(self, image, speed):
        x = self.conv(image).flatten(1)
        return self.head(torch.cat([x, speed], dim=1))

torch.manual_seed(0)            # 実行記録と同じ乱数シード
model = PilotNetLike().eval()   # BatchNormを推論モードに固定する
image = torch.rand(1, 3, 66, 200)
speed = torch.tensor([[0.6]])   # 正規化済みの車速

ig = IntegratedGradients(model)
blur = (F.avg_pool2d(image, 9, stride=1, padding=4), speed.clone())

(attr_img, attr_speed), delta = ig.attribute(
    (image, speed),
    baselines=blur,            # 画像はぼかし、車速は入力と同じ値
    target=0,                  # 0=操舵角、1=加速度
    n_steps=50,                # 積分法は既定のgausslegendre
    internal_batch_size=25,    # 補間点を25件ずつ流してメモリを抑える
    return_convergence_delta=True,
)
diff = model(image, speed)[0, 0] - model(*blur)[0, 0]
abs_delta = delta.detach().abs()
print(attr_img.sum() + attr_speed.sum(), diff, abs_delta)
if diff.abs() > 1e-8:          # 出力差がほぼ0なら相対誤差は出さない
    print(abs_delta / diff.abs())
```

最後の数行で、帰属の総和と出力差がほぼ一致し、相対誤差が小さいことを確かめます。誤差が数%を超えるなら `n_steps` を増やします。画像の帰属 `attr_img` は入力と同じ形（1×3×66×200）で返るので、強さを見るときはチャネル方向に絶対値を合計して元画像に重ね、出力を増やす寄与と減らす寄与を区別するときは符号付きのまま合計したマップを別に表示します。

### n\_stepsとinternal\_batch\_sizeによるメモリ・時間の調整

IGは補間点の数だけ順伝播と逆伝播を回すため、計算量はステップ数に比例します。`internal_batch_size` を指定しないと全補間点を1バッチで流すので、大きなモデルではGPUメモリが先に尽きます。メモリが足りなければ `internal_batch_size` を下げ、時間が足りなければ積分法を変えずにステップ数を誤差が許す範囲まで下げる、の順で調整します。

もう1つの落とし穴が `model.eval()` の付け忘れです。BatchNormを学習モードのまま回すと、補間点のバッチ全体で正規化統計が計算され、同じ入力でも帰属が変わります。今回のモデルでは、学習モードと推論モードの帰属の差が最大で1.8×10の-3乗に達しました。

## Grad-CAM・SHAP・SmoothGradとの使い分け

自動運転の解析で比較対象になりやすいCaptumの帰属手法を、必要な計算と得られる情報で並べます。

| 手法（Captumのクラス）             | 計算量の目安          | 帰属の粒度     | 合計の検算   |
| -------------------------- | --------------- | --------- | ------- |
| IG（IntegratedGradients）    | ステップ数×（順伝播＋逆伝播） | 画素        | できる     |
| Saliency（Saliency）         | 逆伝播1回           | 画素        | できない    |
| Grad-CAM（LayerGradCam）     | 逆伝播1回           | 指定した層の解像度 | できない    |
| GradientSHAP（GradientShap） | サンプル数×逆伝播       | 画素        | 期待値で近似  |
| SmoothGrad（NoiseTunnel）    | ノイズ数×元の手法       | 元の手法と同じ   | 元の手法による |

Grad-CAMは安く、物体単位で「どの辺りを見たか」を素早く確かめるのに向きます。ただし指定した層の空間解像度に縛られ、掲載モデルの最終畳み込み層は1×18の解像度なので、白線と路肩の細かな境界を画素単位で特定する用途には向きません。画素単位で、しかも出力差を数値で配分したいときにIGを使います。GradientSHAPはベースラインを分布から取る計算で、ベースラインを1つに決めきれないときの選択肢です。表形式データでのSHAPやLIMEの選び方は[モデル解釈性とは？説明可能性との違いとSHAP・LIMEの選び方を実装目線で解説](/tech/details/16357/)にまとめています。

## 帰属マップを信じる前に行う2つの検証

IGの帰属マップはきれいに見えても、モデルの判断を正しく表しているとは限りません。見た目ではなく数値で裏を取る手順を工程に組み込みます。

### PilotNet論文に倣う削除テスト

NVIDIAのBojarskiらは[2017年の論文](https://arxiv.org/abs/1704.07911)で、PilotNetが注目する領域を求め（同チームのVisualBackProp）、その領域が本当に操舵を決めているかを介入で確かめました。注目領域を30画素膨らませた部分だけを横にずらすと、操舵角は画像全体をずらしたときに近い大きさで直線的に変わり、背景だけをずらしたときの変化はずっと小さかった、という結果です。

同じ考え方はIGにも使えます。帰属の上位の画素をベースラインに置き換えたときの操舵角の変化を、同じ数の画素を無作為に置き換えたときと比べます。無作為側は繰り返し、削除する割合も複数試します。

```
signed = attr_img.sum(dim=1, keepdim=True)        # 符号付きの画素寄与
n = signed.numel()

def steer_change(mask):
    x = image * (1 - mask) + blur[0] * mask        # mask=1の画素だけぼかしに置換
    with torch.no_grad():
        return (model(x, speed)[0, 0] - model(image, speed)[0, 0]).abs().item()

def mask_from(indices):
    m = torch.zeros(n)
    m[indices] = 1
    return m.view_as(signed)

for ratio in (0.01, 0.05, 0.10):
    k = int(n * ratio)
    top_abs = steer_change(mask_from(signed.flatten().abs().topk(k).indices))
    top_pos = steer_change(mask_from(signed.flatten().topk(k).indices))
    rand = torch.tensor([steer_change(mask_from(torch.randperm(n)[:k]))
                         for _ in range(20)])
    print(ratio, top_abs, top_pos, rand.median().item(), rand.max().item())
```

前掲の未学習モデルで実行した結果です（値は操舵角の変化量の絶対値）。

| 削除する割合 | 絶対値の上位     | 正の寄与の上位    | 無作為20回の中央値 | 無作為20回の最大  |
| ------ | ---------- | ---------- | ---------- | ---------- |
| 1%     | 3.3×10の-5乗 | 1.3×10の-2乗 | 1.1×10の-4乗 | 5.7×10の-4乗 |
| 5%     | 8.4×10の-4乗 | 4.2×10の-2乗 | 3.7×10の-4乗 | 1.1×10の-3乗 |
| 10%    | 7.5×10の-4乗 | 6.5×10の-2乗 | 5.3×10の-4乗 | 1.8×10の-3乗 |

正の寄与の上位を消すと、どの割合でも変化は無作為の中央値の100倍以上になりました。一方、絶対値で上位を選ぶと無作為と見分けがつきません。正と負の寄与を同時に消すと効果が打ち消し合うためで、これは学習済みモデルでも起こり得ます。掲載例は正の寄与の上位を分けて削除しています。追加検証では負の寄与も別に削除し、正の寄与の削除で出力が下がるか、負の寄与の削除で上がるかを、無作為削除と比べます。削除率と置換方法を変えても期待する方向の変化が確認できなければ、その帰属マップを判断材料から外します。

### 重みのランダム化による帰属マップの依存性検証

Adebayoらの[「Sanity Checks for Saliency Maps」](https://arxiv.org/abs/1810.03292)（2018年）は、学習済みモデルの重みを上の層から順にランダムにしていく実験を行いました。IGのマップは、重みを何ブロック分ランダムにしても元画像の鳥の輪郭が見て取れるほど、見た目が元のマップに似たままでした。一方、符号を残したスピアマン順位相関は、上位層をランダムにした直後からほぼ0に落ちています。

帰属マップの品質は、絶対値のヒートマップを目で見て判断せず、符号付きの順位相関で比べます。重みをランダム化しても符号付きの相関が高いままなら、その説明は学習済みパラメータを反映していない疑いがあるので、モデルの学習内容の検証には使いません。

### Integrated Gradientsを使うべきでない場面

車載でのリアルタイム説明には向きません。1フレームごとにステップ数分の順伝播と逆伝播が要るので、既定の50ステップでも推論1回の50倍を超える計算になります。IGは記録ログの事後解析に使い、走行中に判断理由を出したいなら、設計段階から解釈しやすい中間出力（物体検出や車線推定の結果）を持つ構成を選ぶ方が現実的です。

IGの結果を安全性の根拠そのものとして扱うのも避けます。TensorFlowのチュートリアルも限界として挙げるとおり、IGは個々の入力に対する重要度を出すだけで、データセット全体での傾向や特徴同士の組み合わせの効果は説明しません。AIを使う車載システムの安全については2024年12月にISO/PAS 8800:2024が発行されていますが、帰属マップは不具合の原因を絞り込む開発中の道具として使い、安全性の主張はシナリオ単位の検証データで組み立てます。敵対的なパッチで認識をずらす攻撃への備えは[敵対的攻撃とは｜AIを誤認識させる敵対的サンプルの手口と実装で効く防御策](/tech/details/13608/)で扱っています。

## よくある質問

### Integrated Gradientsと統合勾配は同じものですか？

同じ手法です。TensorFlowの日本語チュートリアルは「統合勾配」という訳語を使っています。英語の略称はIGで、2017年のSundararajanらの論文「Axiomatic Attribution for Deep Networks」で提案されました。

### ステップ数はいくつにすればよいですか？

原論文の目安は20〜300ステップで、Captumの既定値は50です。必要な数は入力ごとに異なるため、`return_convergence_delta=True` で誤差を出し、帰属の合計が出力差から数%以上ずれる入力だけステップ数を増やします。

### ベースラインは黒画像で問題ありませんか？

黒画像では、ベースラインと同じ黒い画素の帰属が必ず0になります。夜間の映像や黒い車両を扱うなら、ぼかし画像やノイズ画像のベースラインでも計算し、結果を見比べてください。

### Grad-CAMとIntegrated Gradientsはどちらを使うべきですか？

物体単位でおおまかに注目箇所を確かめるならGrad-CAM、画素単位で寄与を数値として配分し、合計を検算したいならIGです。計算量はIGの方がステップ数の分だけ大きくなります。

### TensorFlowやテキストのモデルでも使えますか？

使えます。TensorFlowには公式チュートリアル「統合勾配」があり、PyTorchのテキストモデルではCaptumの `LayerIntegratedGradients` を埋め込み層に当てて単語ごとの寄与を出します。テキスト分類での実装例は[Black Box AIとは？深層学習とLLMの判断根拠を可視化する実装手順](/tech/details/17927/)にあります。

## 関連記事

- [Black Box AIとは？深層学習とLLMの判断根拠を可視化する実装手順](/tech/details/17927/)
- [モデル解釈性とは？説明可能性との違いとSHAP・LIMEの選び方を実装目線で解説](/tech/details/16357/)
- [敵対的攻撃とは｜AIを誤認識させる敵対的サンプルの手口と実装で効く防御策](/tech/details/13608/)
- [LiDARとは？仕組み・ToF方式・点群処理を実装目線で解説する技術ガイド](/tech/details/13584/)
- [Wayve GAIAとは｜最新GAIA-4とGAIA-3の違い、世代別スペックと評価の限界](/tech/details/10301/)

---

出典: [Integrated Gradients（統合勾配）とは？自動運転E2Eモデルの操舵判断をPyTorch・Captumで帰属計算する手順](<https://www.issoh.co.jp/tech/details/12040/>)（株式会社一創）
