Transformerとは？自己注意の仕組みとBERT・GPTの違いを実装目線で解説

Transformerは、文中のすべての単語の関係を一度に捉える自己注意（Self-Attention）という機構を中核に据えた深層学習アーキテクチャで、ChatGPTをはじめとする大規模言語モデルの土台になっています。2017年の論文「Attention Is All You Need」で提案されて以降、自然言語処理の主役が従来のRNNからTransformerへ置き換わりました。この記事では、自己注意がQuery・Key・Valueの計算で文脈をどう捉えるか、マルチヘッドアテンションと位置エンコーディングが担う役割、Transformerを構成する各層の働き、エンコーダ型のBERTとデコーダ型のGPTがどう分かれるか、そして企業が自社の課題にTransformer系モデルを実装すべきかどうかの判断基準までを、実装する側の目線で整理します。

まとめ：Transformerの要点と企業の実装判断の結論

Transformerの心臓部は自己注意です。文中の各単語を、ほかのすべての単語とどれだけ関係するかという重みで結び直し、文脈を織り込んだ表現へ変換します。単語を1つずつ順番に読むRNNと違い、系列全体を並列に処理できるため、長い文の離れた語どうしの関係も捉えやすく、学習も高速化しました。この構造が、エンコーダ型のBERT、デコーダ型のGPTへと枝分かれし、現在の生成AIの基盤を形づくっています。

実装判断の結論を先に述べます。自社でTransformerをゼロから設計・事前学習する必要は、ほとんどの企業にありません。事前学習には数百万ドル規模の計算資源と膨大なデータが要り、費用対効果が見合う場面は限られます。現実的な出発点は、公開された学習済みモデルや商用APIを土台に、自社データで追加学習（ファインチューニング）するか、あるいは学習させずにプロンプトと検索連携（RAG）で足りるかを見極めることです。まずAPIとRAGで試し、精度や機密要件で届かない範囲だけ追加学習に進む。この順序が、投資を抑えつつ成果に近づく道筋になります。

Transformerとは何かと従来のRNNが抱えた逐次処理の限界

Transformerは、自然言語のような系列データを扱う深層学習モデルの一種です。ニューラルネットワークの一形態であり、その基本である重み付き和と非線形変換の積み重ねという土台はニューラルネットワークの仕組みを入力層・隠れ層・出力層から解説した記事と共通します。Transformerが独自なのは、層の組み方と、単語どうしの関係を捉える自己注意という機構にある点です。まず、なぜTransformerが必要とされたのか、それ以前の主役だったRNNの課題から見ていきます。

RNNの逐次処理と長距離依存の学習で生じた精度と速度の二つの課題

Transformer登場以前、文章のような系列データはRNN（再帰型ニューラルネットワーク）が担っていました。RNNは単語を先頭から1つずつ読み、直前までの文脈を隠れ状態として次へ持ち越します。この逐次処理には二つの弱点がありました。一つは速度です。前の単語の計算が終わらないと次に進めないため、系列を並列に処理できず、学習に時間がかかります。もう一つは長距離依存の難しさです。文頭の主語が文末の動詞に係るような離れた関係は、隠れ状態を伝えるうちに情報が薄れ、勾配消失も起きて捉えにくくなりました。LSTMやGRUがゲート機構でこれを緩和したものの、逐次処理という枠組み自体は残ります。この二つを同時に解いたのがTransformerでした。

エンコーダとデコーダの二部構成とAttention論文が示した設計

Transformerは論文「Attention Is All You Need」で、機械翻訳のモデルとして提案されました。原論文の構造は、入力文を理解するエンコーダと、出力文を生成するデコーダの二部構成です。エンコーダは入力系列全体を受け取り、各単語に文脈を織り込んだ表現へ変換します。デコーダはその表現を参照しながら、出力を1語ずつ生成していきます。両者に共通して埋め込まれているのが自己注意で、論文の題名が示すとおり、再帰も畳み込みも使わず注意機構だけで系列を扱えることを実証した点が転換点になりました。この二部構成のうち、エンコーダ側だけを使ったのがBERT、デコーダ側だけを使ったのがGPTです。

自己注意（Self-Attention）が文脈を捉える計算の仕組み

Transformerを理解する鍵は自己注意に尽きます。ある単語の意味は、それ単体ではなく周囲の単語との関係で決まります。「銀行の口座」と「川の銀行（土手）」では、同じ「銀行」でも周囲の語によって意味が変わる、という文脈依存を数式で扱う仕組みが自己注意です。ここでは、その計算を段階を追って分解します。

QueryとKeyとValueの内積で重みを求めるアテンション計算

自己注意では、各単語の表現ベクトルからQuery・Key・Valueという3つのベクトルを、それぞれ別の重み行列を掛けて作ります。Queryは「私は何に注目したいか」、Keyは「私はどんな情報を持つか」、Valueは「実際に渡す中身」という役割です。計算は次の順に進みます。

1. 注目元の単語のQueryと、文中すべての単語のKeyとの内積を取り、関連度スコアを出す
2. スコアをベクトルの次元数の平方根で割り、値が大きくなりすぎないよう調整する
3. softmax関数でスコアを合計1の重み（アテンション重み）に変換する
4. その重みで各単語のValueを加重平均し、文脈を織り込んだ新しい表現を得る

この一連の処理を、文中のすべての単語を注目元として同時に行います。行列の掛け算にまとまるため、RNNと違い系列全体をGPU上で並列に計算できます。単語どうしの関係の強さを、距離に関係なく直接スコア化できる点が、長距離依存に強い理由です。

マルチヘッドアテンションと位置エンコーディングが担う役割と効果

自己注意は1組のQuery・Key・Valueだけでなく、複数の異なる重み行列で並行して計算します。これがマルチヘッドアテンションです。あるヘッドは文法的な係り受けを、別のヘッドは意味的な関連を、というように、異なる観点の関係を同時に捉え、最後に結合します。1つの見方に偏らず多面的に文脈を読むための工夫だと考えると分かりやすいでしょう。もう一つ補うべきものが語順です。自己注意は単語を集合として扱い、そのままでは「猫が犬を追う」と「犬が猫を追う」を区別できません。そこで各単語の埋め込みに、位置ごとに定まる位置エンコーディングのベクトルを足し込み、何番目の単語かという順序情報を持たせます。並列処理と引き換えに失われる語順を、この加算で補っているわけです。

Transformerを構成する主要コンポーネントと処理の全体像

自己注意は中核ですが、Transformerの1ブロックはそれだけでは成り立ちません。入力を数値化する層、非線形性を加える層、深い層でも学習を安定させる仕掛けが組み合わさって、初めて何十層と積み重ねられます。

埋め込み層・フィードフォワード層・残差接続と層正規化が担う働き

入り口の埋め込み層は、単語をID化したうえで、意味の近い語が近くに配置される密ベクトルへ変換します。ここに前章の位置エンコーディングが加わったうえで、自己注意へ渡る流れです。自己注意の出力は、各単語ごとに独立して働くフィードフォワード層（2層の全結合ネットワーク）を通り、非線形な変換を受けます。深く積むための要が、残差接続と層正規化です。残差接続は、ある層の入力を出力に足し戻す配線で、勾配が浅い層まで届きやすくなり、層を深くしても学習が崩れにくくなります。層正規化は各層の出力の分布を整え、学習を安定させる役割です。主要な部品の対応を整理します。

この自己注意とフィードフォワードを1組としたブロックを縦に積み、原論文では6層、大規模言語モデルでは数十層に及びます。層を重ねるほど抽象度の高い文脈を捉えられる一方、必要な計算資源も比例して増えていきます。

Transformerから派生したBERT・GPT・ViTという代表モデル

Transformerの二部構成は、片側だけを取り出す形で代表的なモデルへ枝分かれしました。どちら側を使うかで、得意なタスクがはっきり分かれます。

エンコーダ型BERTとデコーダ型GPTの構造の違いと使い分け

BERTはエンコーダ側を使い、文の前後両方向から文脈を読みます。文全体を一度に見渡せるため、分類・固有表現抽出・文書検索といった「理解」のタスクに向くのが持ち味です。GPTはデコーダ側を使い、左から右へ次の単語を予測しながら文を生成します。この一方向の生成が、対話や文章作成に直結します。両者の性格を対比すると次のとおりです。

GPT系のデコーダ型をひたすら巨大化し、膨大なテキストで事前学習したものが大規模言語モデルです。Transformerがどう大規模言語モデルへ発展し、企業がその導入をどう判断するかは、LLMの仕組みと企業導入の判断基準を解説した記事で扱っています。本記事はその内側の構造に絞ります。

画像へ広げたVision Transformerとマルチモーダルの展開

自己注意は言語専用の仕組みではありません。2020年に提案されたVision Transformer（ViT）は、画像を小さなパッチに分割し、各パッチを単語のように並べて自己注意を適用することで、畳み込みを使わず画像分類を行いました。この考え方は、テキストと画像、音声を同じ枠組みで扱うマルチモーダルへの入り口になります。テキストと画像を横断して理解・生成する技術の全体像は、マルチモーダルAIの仕組みと実装の要点を解説した記事で整理しています。単一の注意機構が言語と視覚の両方を統一的に扱えたことが、Transformerの適用範囲を大きく広げました。

企業がTransformer系モデルを実装する際の採用判断と費用対効果

ここからは技術解説から一歩進め、自社の課題にTransformer系モデルを持ち込むべきかの判断軸を示します。結論として、選ぶべきは「どのモデルを使うか」より前に「どこまで自前でやるか」です。この階層を取り違えると投資が跳ね上がります。

フルスクラッチ学習を避け公開された学習済みモデルを起点にする理由

Transformerを自社でゼロから事前学習する選択は、ほとんどの事業会社にとって過剰投資です。大規模言語モデルの事前学習には、数千枚規模のGPUと数週間から数か月の計算、そしてテラバイト級のテキストが要り、費用は数百万ドルに達することもあります。一度作れば終わりではなく、モデルの更新ごとに繰り返し発生するコストです。現実的な起点は、公開された学習済みモデルや商用APIを土台にすることです。画像・言語のどちらでも、大量データで訓練済みのモデルが公開されており、自社の少量データで一部を再学習させれば実用精度に届く場面が多くあります。この、学習済みモデルを土台に自社課題へ寄せる考え方は転移学習と呼ばれ、その手法の違いは転移学習とファインチューニング・特徴抽出の違いを解説した記事で整理しています。自社にデータがどれだけあっても、まず「作らずに済ませられないか」を最初に問うのが、費用対効果を左右する分岐点です。

追加学習で仕上げるかプロンプトとRAGで足りるかの見極めの基準

学習済みモデルを起点にすると決めても、追加学習が常に要るわけではありません。むしろ多くの業務課題は、モデルを学習させずに解けます。判断の順序を段階で示します。まず、モデルへの指示文（プロンプト）の工夫で足りるかを試す。次に、社内文書を検索してモデルに渡すRAG（検索拡張生成）で、最新情報や社内知識を反映できないかを検討する。それでも専門用語の言い回しや出力形式が安定しない場合に、初めて自社データでの追加学習（ファインチューニング）に進みます。RAGとファインチューニングは競合ではなく、知識の鮮度はRAG、応答の型はファインチューニングという役割分担です。両者の使い分けとファインチューニングの実装判断はファインチューニングの仕組みとRAGとの使い分けを解説した記事で詳しく扱っています。自社の業務にどのTransformer系モデルをどの深さで組み込むべきか、プロンプトとRAGで足りるのか追加学習まで要るのかの見極めに迷う段階では、機械学習・生成AIの受託開発を手がける一創のAIエンジン開発にご相談ください。課題データの性質と機密要件から、APIで足りる範囲と自社実装すべき範囲の切り分けまで含めて設計します。

Transformerの仕組み・学習・実装に関するよくある質問

Transformerの学習・実装でよく検索される疑問に、実装目線で簡潔に答えます。

TransformerとBERT・GPTの違いは何ですか？

Transformerは、自己注意を中核とするアーキテクチャそのものの名前です。BERTとGPTは、そのTransformerを土台に作られた具体的なモデルを指します。BERTはエンコーダ側を使い文の双方向理解に、GPTはデコーダ側を使い文章生成に向く、という関係です。つまりTransformerが設計図で、BERTやGPTがそこから作られた製品にあたります。

Transformerはなぜ自然言語処理の主流になったのですか？

系列全体を並列に処理でき、離れた単語どうしの関係も自己注意で直接捉えられるためです。1語ずつ順に読むRNNの逐次処理の遅さと、長距離依存の捉えにくさという二つの弱点を同時に解消しました。並列化しやすい構造がGPUの性能を引き出し、モデルとデータを大きくするほど精度が伸びる性質が、大規模言語モデルへの道を開きました。

Transformerの学習には大量のデータとGPUが必要ですか？

ゼロから事前学習する場合は、テラバイト級のテキストと多数のGPUが要り、費用も数百万ドル規模になり得ます。ただし事業会社が自前で事前学習する必要はほとんどありません。公開された学習済みモデルやAPIを起点にすれば、少量データでの追加学習や、学習なしのプロンプト・RAGで多くの業務課題に対応できます。

自己注意（Self-Attention）とは何をしているのですか？

文中の各単語について、ほかのすべての単語とどれだけ関係するかを重みとして計算し、その重みで周囲の情報を集約して、文脈を織り込んだ表現へ変換しています。各単語からQuery・Key・Valueの3ベクトルを作り、QueryとKeyの内積で関連度を測り、softmaxで重みにしてValueを加重平均する、という計算です。

Transformerは画像や音声にも使えますか？

使えます。画像を小さなパッチに区切り単語のように並べるVision Transformerが、畳み込みを使わず画像分類を実現しました。音声も系列データとして同じ枠組みで扱え、テキスト・画像・音声を横断するマルチモーダルモデルの基盤にもなっています。自己注意が特定のデータ形式に依存しない汎用的な仕組みだからです。

関連記事

• ニューラルネットワークとは？仕組み・種類・学習方法を実装目線で解説：Transformerの土台にあるニューラルネットワークの基本構造を確認したい方はこちら。
• LLMとは？大規模言語モデルの仕組みと企業導入の判断基準：Transformerの延長にある大規模言語モデルの導入判断を知りたい方へ。
• 転移学習とは？ファインチューニング・特徴抽出との違い：学習済みモデルを自社データで転用する実装判断を深掘りしたい方へ。
• マルチモーダルとは？テキスト・画像・音声を扱うAIの仕組み：Vision Transformerの先にあるマルチモーダルAIを知りたい方へ。