大規模言語モデル（LLM）とは？仕組みと学習の流れをわかりやすく解説

大規模言語モデル（LLM：Large Language Model）とは、膨大なテキストを学習し、「次にくる単語」を確率的に予測しながら文章を生成するAIです。ChatGPTやGemini、Claudeといった対話AIの中核にあり、翻訳・要約・コード生成などを1つのモデルでこなします。ただ「AIが文章を作る」と聞くと魔法のように見えますが、その動きはトークン化・ベクトル化・Transformerによる予測という手順に分解できます。この記事では、LLMの仕組みを処理の流れに沿ってたどり、学習プロセス、代表モデルの違い、ローカルで動かす小規模モデル（SLM）やLoRA、そして苦手なハルシネーションまでを、専門用語をかみ砕いて解説します。

まとめ：この記事の要点

• LLMの本質は「文脈から次の単語（トークン）を確率で予測する」こと。文章生成はこの予測の繰り返しで成り立つ。
• 仕組みはトークン化 → 埋め込み（ベクトル化） → Transformer（自己注意） → 次トークン予測の4段階で捉えると理解しやすい。
• 賢さは事前学習で土台を作り、ファインチューニングやRLHFで用途と応答の質を整える二段構えで生まれる。
• 代表モデルはGPT（OpenAI）・Gemini（Google）・Claude（Anthropic）・Llama（Meta）。用途や機密要件によってはローカルで動くSLMやLoRAという選択肢もある。
• LLMは事実の正しさを保証しないため、ハルシネーション（もっともらしい誤り）への対策が実運用の前提になる。

以降で、各段階を具体的に見ていきます。

大規模言語モデル（LLM）とは：言語モデルと生成AIの関係

言語モデルとは、「ある単語の並びの次に、どの単語がどのくらいの確率で続くか」を推定する仕組みです。スマートフォンの予測変換も小さな言語モデルの一種です。この言語モデルを、桁違いのテキスト量とパラメータ規模で訓練したものが大規模言語モデル（LLM）にあたります。

「大規模」が指すパラメータ数と学習データ量

大規模の中身は、主にパラメータ数と学習データ量です。パラメータはモデルが学習で獲得する内部の重みで、2020年に公開されたGPT-3では、当時としては桁違いの約1,750億（175B）に達しました。現行のフラッグシップモデルはこれをさらに上回るとされ、パラメータが増えるほど複雑な言語パターンを表現できます。学習データはWebページ・書籍・コードなど数百GB〜数TB級のテキストで、この規模が汎用的な言語運用能力を支えています。

生成AI・従来の自然言語処理（NLP）との違い

生成AIは「新しいコンテンツを作るAI」の総称で、画像や音声の生成も含みます。LLMはそのうち言語（テキスト）に特化した生成AIという位置づけです。従来のNLPが「感情分類」「固有表現抽出」のようにタスクごとに専用モデルを作っていたのに対し、LLMは1つのモデルへの指示（プロンプト）の書き方を変えるだけで、要約・翻訳・質問応答を切り替えられます。タスクごとの作り込みが不要になった点が、実務での使い勝手を大きく変えました。

LLMの仕組み：入力から次の単語を予測するまで

LLMが文章を生成する流れは、大きく4段階に分けられます。入力文を細かく区切り、数値に変換し、Transformerで文脈を計算し、次の単語を確率で選ぶ——この繰り返しです。順に見ていきます。

トークン化：文章を「トークン」に区切る

最初の処理がトークン化です。モデルは文章をそのまま扱わず、「単語」や「サブワード（単語の一部）」といったトークンという単位に分割します。たとえば「大規模言語モデル」は複数のトークンに分かれ、それぞれにID（番号）が振られます。日本語は英語より1文字あたりのトークン消費が多くなりやすく、これがAPI料金（トークン課金）や入力できる文章量の上限に直結します。

埋め込み：トークンを意味のベクトルに変換する

次に、各トークンIDを埋め込み（エンベディング）と呼ばれる数百〜数千次元の数値ベクトルへ変換します。意味の近い単語ほどベクトル空間で近い位置に配置されます。初期の単語ベクトル（word2vecなどの静的埋め込み）では「王−男＋女＝女王」といった意味の関係を数値の演算で近似できることが示され、単語の意味が座標として扱えることを直感的に表しています。LLMではこれを、文脈に応じて意味が変わる埋め込みへと発展させています。ここで文章は、コンピュータが計算できる数値の並びになります。

Transformerと自己注意（アテンション）：文脈を捉える中核

LLMの心臓部が、2017年の論文「Attention Is All You Need」で提案されたTransformerという構造です。その要が自己注意（Self-Attention）で、文中の各トークンが「他のどのトークンに注目すべきか」を重み付けして計算します。たとえば「それ」が指す対象や、離れた位置にある主語と述語の対応を、距離に関係なく捉えられます。Transformer登場以前の手法が長い文脈を苦手としていたのに対し、この仕組みが長文でも一貫した文章生成を可能にしました。

次トークン予測：確率から一語ずつ文章を作る

最終段では、文脈をもとに「次にくるトークンの確率分布」を計算し、その中から1つを選びます。選んだトークンを入力の末尾に加え、また次を予測する——この1語ずつの反復で文章全体が生まれます。同じ質問でも毎回答えが少し変わるのは、確率的にトークンを選んでいるためです。回答のばらつきは「温度（temperature）」というパラメータで調整でき、値を下げると安定した固い出力に、上げると多様な出力になります。

LLMの学習プロセス：事前学習・ファインチューニング・RLHF

LLMの賢さは、性質の異なる学習を段階的に重ねて作られます。土台を作る事前学習と、用途や応答の質を整える事後学習の二段構えです。

事前学習：大量テキストからの自己教師あり学習

事前学習では、Web・書籍・コードなど膨大なテキストを使い、「文章の一部を隠して次の単語を当てる」課題をひたすら解かせます。正解ラベルを人手で付ける必要がなく、テキスト自体が答えになる自己教師あり学習です。この段階で文法・語彙・世界知識の土台が形成されますが、計算コストは非常に高く、大規模モデルの事前学習には数千枚規模のGPUと数週間〜数か月を要します。

事後学習：ファインチューニング・RLHF・DPO

事前学習しただけのモデルは「続きを予測する」ことは得意でも、指示に沿って役立つ形で答えるのは苦手です。そこで用途に合わせて追加学習するファインチューニングや、人間の好みを反映させるRLHF（人間のフィードバックによる強化学習）を行います。RLHFは2022年のInstructGPTで対話品質を大きく引き上げた手法で、より単純に選好データから学習するDPO（2023年提案）といった代替手法も広がっています。特定業務にモデルを適応させる手順は、ファインチューニングの目的とやり方の解説で具体的に整理しています。

スケーリング則：パラメータと性能の関係

モデル規模・データ量・計算量を増やすほど性能が向上する経験則をスケーリング則と呼びます（Kaplanら2020年、Chinchilla 2022年）。ただし「大きいほど良い」は無条件ではなく、Chinchillaの研究は、パラメータを増やすだけでなく学習データ量とのバランスが重要だと示しました。パラメータ数はカタログスペックとして目を引きますが、実運用では応答速度・コスト・精度のトレードオフで選ぶべきで、大きいモデルが常に最適解とは限りません。

代表的なLLMの種類と特徴（GPT・Gemini・Claude・Llama）

広く使われるLLMは、開発元と公開形態で性格が分かれます。バージョンは短期間で更新されるため、下表は families（系列）の位置づけとして捉え、最新の版数や料金は各社公式で確認してください。

大きな分かれ目は、APIとして利用するクローズドモデルか、モデルの重みが公開され自社環境に置けるオープンウェイトモデルかです。手軽さと最高水準の性能を求めるならクローズド、機密データを外部に出せない・カスタマイズを深く行いたいならオープンウェイト、と要件で選び分けます。日本語特化ではELYZAやCyberAgentのモデルなど、国内開発の選択肢もあります。

ローカルで動かす小規模言語モデル（SLM）とLoRAによる軽量化

大規模モデルは高性能な一方、運用コストと機密情報の外部送信が課題になります。ここが競合記事で手薄になりやすい論点で、業務利用では「小さく・手元で動かす」設計が現実的な解になる場面が少なくありません。

小規模言語モデル（SLM）が適する場面

SLM（Small Language Model）は、パラメータを数億〜十数億規模に抑えたモデルです。汎用的な難問では大規模モデルに及びませんが、用途を絞れば十分な精度を出せます。強みは、GPUを積んでいないPCやオンプレミス環境でも動かせること。機密文書を外部APIに送りたくない、オフラインや低遅延で使いたい、問い合わせ量が多くAPI課金を抑えたい——こうした条件では、巨大モデルより手元のSLMが合理的です。逆に、幅広い一般知識や高度な推論が必要なら、無理にSLMへ寄せず大規模モデルを使うべきです。

LoRA：少ないコストでモデルを自社用に調整する

LoRA（Low-Rank Adaptation、Microsoftが2021年に提案）は、モデル全体ではなく追加した小さな行列だけを学習することで、ファインチューニングの計算量とメモリを大幅に削減する手法です。全パラメータを更新する従来のファインチューニングに比べ、必要なGPUメモリを抑えつつ、業務ドメインの文体や専門用語にモデルを適応させられます。学習後の追加部分だけを差し替えられるため、用途別の調整版を軽量に持ち回れる点も実務向きです。

LLMでできることと、苦手なこと（ハルシネーション）

LLMは強力ですが万能ではありません。得意と苦手を分けて理解しておくと、導入時の期待値がずれません。

できること：文章生成・要約・翻訳・コード生成

1つのモデルで、文章生成、長文の要約、翻訳、コードの生成・補完、質問応答まで幅広くこなせます。音声を文字起こししてから要約するといった、他の技術と組み合わせた業務応用も進んでいます。自社データに基づいて回答させたい場合は、モデルを追加学習させる代わりに、検索した情報を回答生成時に渡すRAG（検索拡張生成）の全体像を押さえた構成が一般的です。

苦手なこと：ハルシネーションとコスト

最大の弱点がハルシネーション——事実に反する内容を、もっともらしい文章で出力してしまう現象です。LLMは「次に自然な単語」を選んでいるだけで、内容の正誤を検証する仕組みを内蔵していないために起きます。対策としては、外部の正しい情報源を参照させるRAG、出力の人手確認、プロンプトでの制約付けなどを組み合わせます。原因の分類はハルシネーションの基本概念と種類、実務での防ぎ方はプロンプトやRAG・検出APIを使ったハルシネーション対策の実装手順で詳しく扱っています。加えて、大規模モデルはトークン課金や計算資源のコストも無視できず、用途に対して過剰な規模のモデルを選ばないことが運用上の要点です。

よくある質問（FAQ）

LLMとGPTの違いは何ですか？

LLMは大規模言語モデルという技術の総称で、GPTはOpenAIが開発するLLMの製品系列の名前です。つまりGPTはLLMの一種という関係で、ほかにGemini（Google）、Claude（Anthropic）、Llama（Meta）などのLLMがあります。「LLM」がカテゴリー名、「GPT」がその中の具体的な製品名だと考えると整理しやすいです。

LLMの仕組みを簡単に言うと？

「文章を細かい単位（トークン）に区切り、文脈から次にくる単語を確率で予測して、一語ずつつなげて文章を作る仕組み」です。その予測の中核を担うのがTransformerという構造で、文中のどの単語に注目すべきかを計算します。魔法的な理解をしているのではなく、膨大な学習をもとにした高精度な「次の単語当て」の連続だと捉えると本質に近づきます。

LLMのパラメータ数が多いと何が変わりますか？

パラメータは学習で獲得する内部の重みで、多いほど複雑な言語パターンを表現でき、一般に精度が上がる傾向があります。2020年のGPT-3で約1,750億に達し、現行モデルはさらに大規模化しています。ただし増やすほど計算コストと応答遅延も増えるため、必ずしも大きいほど良いわけではありません。用途に対して十分な規模のモデルを、コストと精度のバランスで選ぶのが実務的です。

ローカルLLMやSLMでは何ができますか？

手元のPCやオンプレミス環境で、文章の要約・分類・下書き作成・社内文書の質問応答などを、外部APIにデータを送らずに実行できます。汎用的な難問では大規模モデルに劣りますが、用途を絞れば実用精度を出せます。機密データを外部に出せない、通信を発生させたくない、問い合わせ量が多くコストを抑えたい、といった要件で有力な選択肢になります。

LLMとRAG・ファインチューニングはどう使い分けますか？

自社固有の知識に基づいて答えさせたい場合、まず検討するのは、検索した情報を回答時にモデルへ渡すRAGです。最新情報や社内文書に強く、導入も比較的手軽です。文体や専門タスクへの適応を深めたいときはファインチューニング（軽量に行うならLoRA）が向きます。両者は排他ではなく、RAGで知識を補い、ファインチューニングで応答の型を整える、という併用も有効です。

関連記事

• ファインチューニングとは？AIモデルを適応させる技術の概要と目的
• RAG（Retrieval-Augmented Generation）研究の全体概要
• AIハルシネーション対策｜プロンプト・RAG・検出APIで誤答を減らす実装手順
• AIにおけるハルシネーションとは？基本概念と種類の解説