公開2026.07.04更新2026.09.15 AI

ローカルLLMとは？クラウド型との違い・必要スペック・Ollamaでの構築手順を解説

ローカルLLMとは、ChatGPTのようなクラウドサービスを経由せず、自社のサーバーや手元のPCで直接実行する大規模言語モデル（LLM）のことです。入力データが外部に送信されないため、機密情報を扱う業務での導入が進んでいます。本記事の内容は、クラウド型・API型LLMとの違い、機密保持とコストの利点および性能・運用面の弱点、パラメータ数と量子化から見る必要スペックの目安、定番ツールOllamaでの構築手順までの整理です。バージョンや必要メモリの数値は2026年9月4日に公式リポジトリとモデルカードで取り直し、実際に打つコマンドを添えました。最後に、ローカルLLMを採用すべき要件と見送るべき場面を、費用対効果の観点から解説します。

まとめ：ローカルLLMの向き不向きと導入判断の結論

ローカルLLMの本質的な価値は、データを一切外部に出さずにLLMの処理を完結できる点にあります。機密性の高い文書の処理、外部通信が制限された環境、大量処理でAPI課金がかさむ用途では、クラウド型より合理的な選択になります。オープンウェイトモデルの性能向上と量子化技術の普及で、一般的なワークステーション級のマシンでも実用水準のモデルが動くようになったことが、導入拡大の背景です。

一方で、最上位のクラウドモデルとの性能差、GPU調達費、モデル更新やセキュリティ対応の運用負荷は残ります。結論として、機密性・通信制約・処理量のいずれかに明確な要件がある場合に採用し、要件が曖昧なまま「なんとなく安心だから」で選ぶのは避けるべきです。判断に迷う場合は、クラウド型で小さく検証してから該当処理だけをローカルに切り出すハイブリッド構成が現実的な着地点になります。

着手のハードルは実際のところ低く、Ollamaの公式ダウンロードページからインストーラーを入れ、モデル名を指定するコマンドを2回打つだけで対話まで到達します。判断を分けるのは「動くかどうか」ではなく、必要な精度が出るモデル級を載せられるメモリがあるか、そして運用を続ける担当者がいるかの2点です。以下では、その2点を見積もる手順を実機のコマンドとともに追います。

ローカルLLMの定義：クラウド型・API型LLMとの違いと選ばれる背景

まず用語の範囲と、クラウド型との構造的な違いを確定させます。この違いがそのまま導入判断の軸になります。

ローカルLLMの定義：自社管理環境でモデルを実行する利用形態

ローカルLLMは特定の製品名ではなく、LLM（大規模言語モデル）の利用形態を指す言葉です。モデルの重み（学習済みパラメータ）のファイルを入手し、自社が管理するオンプレミスサーバー、社内PC、あるいは自社契約のクラウド上の閉じた環境で推論を実行する構成を総称します。実行の基盤になるのは、MetaのLlamaに代表される、重みが公開されたオープンウェイトモデルです。重みの配布元はHugging Faceのようなモデルハブが中心で、Llama系の一次情報はMetaの開発者向けサイトに集約されています（llama.comは同ドメインへ転送されます）。

「ローカル」の範囲には幅があります。開発者が手元のノートPCで動かす個人利用から、GPUサーバーを立てて部署全体にAPI提供する社内基盤まで、規模はさまざまです。共通するのは、推論処理とデータがすべて自社の統制下にあり、外部のAI事業者のサーバーを経由しないという1点です。同じ端末内実行でも、社員のスマートフォンやPCへモデルを配って回す構成は要件が変わるため、オンデバイスAIとは？端末内で動くAIの仕組みと業務導入の判断基準で切り分けています。

クラウド型（API型）との違い：データの所在・費用構造・性能の3軸比較

クラウド型（ChatGPTやAPI経由のGPT・Claude・Gemini）との違いは、次の3軸で整理できます。

比較軸	ローカルLLM	クラウド型LLM
データの所在	自社環境で完結	事業者サーバーへ送信
費用構造	初期投資型（GPU等）	従量課金型
モデル性能	公開モデルの範囲	最上位モデルを利用可
初期導入	環境構築が必要	即日利用可
オフライン動作	可	不可

この表の裏にあるトレードオフが判断の核心です。データ統制と費用の固定化を取るならローカル、性能の最大値と立ち上がりの速さを取るならクラウドという構図で、どちらが一方的に優れているわけではありません。費用構造の考え方そのものはオンプレミスとクラウドの違いと同じで、初期投資を償却で回収する形と、使った分だけ払う形の対比になります。後述の判断基準の章で、この構図を要件に落とし込みます。

導入が広がる背景：オープンウェイトモデルの性能向上と小型化の進展

ローカルLLMが現実的な選択肢になったのは、公開モデルの性能が急速に商用モデルへ迫ったためです。2026年9月時点では、MetaのLlama系、AlibabaのQwen系、GoogleのGemma系、DeepSeek系などが主要な系統を形成し、多くの実務タスクで実用水準に達したという評価が広がっています。実行環境の公式ライブラリであるOllamaのモデル一覧を見ると、llama3.1（8B・70B・405B）やqwen3（0.6B〜235B）といった定番に加え、qwen3.5（0.8B〜122B）やgemma4（12B・26B・31B）といった新しい世代が並んでおり、改版の速さがそのまま確認できます。

OpenAIもgpt-ossという重み公開モデルを出しており、商用モデル提供元が公開系にも参入する流れが続いています。もう1つの背景が小型化です。同じ性能をより少ないパラメータで実現する軽量モデルの改良と、後述する量子化技術の普及により、以前はデータセンター級の設備が必要だった推論が、ワークステーションや高性能ノートPCで動く範囲に降りてきました。日本語に強い国産の公開モデルが増えたことも、国内企業の導入を後押ししています。

ローカルLLMの利点と弱点：機密保持・コスト・精度の実務的な評価

利点と弱点は同じ構造の裏表です。宣伝文句ではなく、導入後に効いてくる順に評価します。

利点：データを外部送信しない機密保持とAPI従量課金からの解放

第一の利点は機密保持です。顧客の個人情報、開発中製品の設計情報、医療・金融データなど、社外送信自体が規程や契約で禁じられている情報でも、ローカルLLMなら処理対象にできます。クラウド事業者の規約変更や海外のデータ関連法制の影響を受けない点は、長期運用でじわじわ効く安心材料です。入力データが将来のモデル学習に使われる懸念も構造的に存在しません。さらに、自社データでのファインチューニングを自由に行える点も、公開モデルをローカル運用する利点です。

第二がコスト構造の転換です。API従量課金は処理量に比例して青天井で増えますが、ローカルLLMは初期投資後の追加費用が電気代と保守にほぼ限定されます。大量の文書分類やログ解析のように呼び出し回数が桁違いに多い処理なら、月のAPI費用が数十万円規模になる前に損益分岐を越えるケースが出てくるはずです。加えてオフラインで動くため、工場や閉域網など通信制約のある現場でも使えます。

弱点：GPU調達・運用の負荷と最上位クラウドモデルとの性能差の実情

最大の弱点は性能の上限です。公開モデルの追い上げは著しいものの、複雑な推論や最先端のエージェント用途では、各社の最上位クラウドモデルが依然として先行するという評価が2026年9月時点でも一般的です。「クラウドでは解けたタスクがローカルの中型モデルでは精度が落ちる」という現象は普通に起き、どこまでの精度が業務要件かの見極めが先に要ります。

運用負荷も軽視できません。GPUの調達と保守、モデルの更新判断、脆弱性対応、利用ログの管理までが自社責任になります。実行環境そのものの改版も速く、OllamaはGitHubのリリース一覧を見るかぎり数日から2週間ほどの間隔で版が上がっており、追随の判断が定常業務として発生します。クラウド型なら事業者側が担う部分をすべて引き受ける構図で、担当できる技術者がいない組織では、導入後の塩漬けが典型的な失敗パターンです。導入判断の段階で、機材費だけでなく運用者の工数まで含めた総コストで比較してください。

ローカルLLMの必要スペック：パラメータ数・量子化とVRAMの目安

「どんなPCなら動くのか」は、モデルのパラメータ数と量子化の程度でほぼ決まります。仕組みを押さえると、機材選定を逆算できます。

モデルサイズとVRAMの関係：量子化で必要メモリを圧縮する仕組み

LLMの推論では、モデルの重み全体をGPUのメモリ（VRAM）に載せる必要があり、必要量はパラメータ数×1パラメータあたりのデータサイズから概算可能です。量子化とは、このデータサイズを16bitから8bitや4bitに圧縮する技術で、精度をわずかに犠牲にする代わりに必要VRAMを2分の1〜4分の1に減らせます。手法の全体像はHugging Faceの量子化の公式解説にまとまっており、方式ごとの得手不得手はLLM量子化の比較で整理済みです。さらに三値（-1・0・+1）や1bit相当まで削り、27B級を端末内で動かそうとする1bit LLM「Bonsai」のような超低ビットの選択肢も登場しています。目安として、70億（7B）級モデルは4bit量子化でVRAM5GB前後、700億（70B）級は40GB前後が相場とされますが、モデルと量子化方式で変動するため、利用予定モデルの配布ページで必ず確認してください。

実務的な選定手順は逆算です。まず用途に必要な精度からモデル級（7B・14B・30B・70B…）を仮決めし、量子化込みの必要VRAMを算出して、それを満たすGPUまたはユニファイドメモリ搭載機を選びます。小さいモデルから試して精度が足りなければ1段上げる進め方が、機材への過剰投資を防ぎます。

用途別のモデル候補：Llama・Qwen・gpt-oss等オープンウェイトの系統

2026年9月時点の主要な公開モデル系統には、汎用性と情報量で定番のLlama系、多言語・コーディングに強い評価のQwen系、軽量帯が充実したGemma系、推論特化で話題を集めたDeepSeek系があります。OpenAIのgpt-ossは2規模で公開されており、Hugging Faceのモデルカードには gpt-oss-120b が総パラメータ117B・アクティブ5.1B、gpt-oss-20b が総21B・アクティブ3.6Bと明記されています。MoE部分をMXFP4で量子化してあるため、120bは単一の80GB GPU（H100やMI300X）、20bは16GB以内のメモリで動く前提が公式に示され、ライセンスはApache 2.0です。MicrosoftのPhi系も3.8B〜14BがMITライセンスで公開されており、モデルの選び分けはPhiの系譜と実行要件・選び分けの解説で確認できます。必要GPUやベンチマークの詳細はgpt-oss-120bと20bの性能比較に実測ベースの情報を掲載済みです。日本語重視なら、国産モデルや日本語追加学習版も候補に入ります。

モデル選定で断定的なランキングに頼るのは推奨しません。ベンチマーク順位はタスクによって入れ替わり、改版も数か月単位で起きるためです。用途を代表するテスト文を10〜20件用意し、候補2〜3系統を同じ質問で比較する自社評価が、結局いちばん確実で速い選び方です。

必要VRAMを見積もる：実機でモデル一覧と占有メモリを確認する

カタログ値の暗算より、手元の1台で実測したほうが早く確実です。Ollamaを入れた状態なら、取得済みモデルの実サイズと、実行中モデルがどこに載っているか（GPUかCPUか）をコマンドで一覧できます。

# 取得済みモデルと実ファイルサイズを一覧する
ollama list

# 実行中モデルのメモリ占有と載っている先を確認する
ollama ps

ollama ps の出力には占有サイズと処理先の内訳が並びます。ここで「100% GPU」と出ればVRAMに収まっており、CPU側の比率が混じると生成速度が数分の1に落ちます。狙ったモデル級でCPUへこぼれるなら、量子化を1段深くするか、モデル級を1段落とすかの二択で調整してください。GPUを増やす前にこの2コマンドで詰めるほうが、投資額に対する効き方がはっきりします。より本格的な推論基盤の設計に進む段階では、LLM推論の高速化と基盤選びの観点が必要になります。

OllamaでのローカルLLM構築手順：導入・モデル取得・API連携の流れ

「ローカルLLM 作り方」で調べる人の多くが最初に触れるのがOllamaです。仕組みを押さえたうえで、導入・API差し替え・社内公開の3工程を順に実行します。

Ollamaとは：コマンド1つでモデルを動かせる実行環境の定番ツール

Ollamaは、ローカルLLMの取得・管理・実行をまとめて担うオープンソースの実行環境です。Windows・macOS・Linuxに対応し、モデル名を指定するコマンド1つで、モデルのダウンロードから対話の開始までが完了します。量子化済みモデル（GGUF形式など）が公式ライブラリに揃っているため、量子化の作業を自分で行う必要がありません。開発は活発で、公式リポジトリのリリース情報では2026年9月4日時点の最新がv0.33.3（2026年9月2日公開）でした。

類似ツールには、GUI操作が中心のLM Studioや、より低レイヤーのllama.cpp、スループット重視のvLLMがあります。使い分けの目安は、エンジニアがAPI連携まで見据えるならOllama、非エンジニアが画面操作で試すならLM Studio、組み込みや細かなチューニングが要るならllama.cpp、同時アクセスの多い本番基盤ならvLLMです。まず試す1本としてはOllamaが情報量・手軽さの両面で無難で、検証で要件が固まってから本番用の推論基盤へ載せ替える順序が扱いやすくなります。

Ollamaを導入してモデルを取得し、対話で日本語品質を確かめる

導入は公式インストーラーを入れて、モデル名を指定するだけです。次の4コマンドで、版の確認からモデル取得、対話までが通ります。

# 導入後、版を確認する
ollama --version

# 8B級のモデルを取得する（初回はダウンロードが走る）
ollama pull qwen3:8b

# 対話を開始して日本語の応答品質を見る
ollama run qwen3:8b

# 一問だけ投げて終了させたい場合は引数で渡す
ollama run qwen3:8b "社内規程の要約に向くか確かめたい"

ここで確かめるのは3点です。日本語の応答が業務文書に耐えるか、生成速度が待てる範囲か、そして自社の代表的な依頼文で意図を外さないかです。品質が足りないときは、いきなり機材を増やすのではなくモデル系統を替えて同じ質問を投げ直します。系統によって日本語の得手不得手が明確に分かれるため、この差し替えだけで解決するケースが少なくありません。

OpenAI互換APIに差し替えて既存の社内ツールから呼び出す

社内展開の鍵はAPI互換性です。Ollamaは既定でポート11434で待ち受け、OpenAI互換の形式も併せて公開する仕様です。公式の互換性の説明では基底URLが http://localhost:11434/v1 と示されており、クラウドAPI前提で作られた既存ツールの接続先を差し替えるだけでローカル化できる場合があります。素の形式は公式APIリファレンス側にまとまっています。

# OpenAI互換エンドポイントへそのまま投げる
curl http://localhost:11434/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"qwen3:8b","messages":[{"role":"user","content":"この議事録を3行で要約して"}]}'

既存のPythonコードなら、公式SDKの接続先とキーを差し替えるだけで済みます。api_keyは互換のために形だけ要求されるので、任意の文字列を入れておきます。

from openai import OpenAI

client = OpenAI(base_url="http://localhost:11434/v1", api_key="ollama")

res = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "この議事録を3行で要約して"}],
)
print(res.choices[0].message.content)

差し替えで詰まりやすいのはモデル名とトークン上限の指定です。クラウド側のモデル名がそのまま残っていると404相当で弾かれ、長文を投げる想定のコードは、ローカルモデルの文脈長を超えて途中で切れます。移行時は、モデル名の置換と文脈長の実測を最初のチェック項目に置いてください。

部署共有サーバーへ公開する手順：ホスト設定とアクセス制御の勘所

既定の待ち受けは同一マシンからの利用を想定した設定なので、部署共有のサーバーに立てる場合は待ち受けホストを明示します。公式APIリファレンスに記載のある環境変数 OLLAMA_HOST で指定します。

# LANへ公開する場合は待ち受けアドレスを明示する
export OLLAMA_HOST=0.0.0.0:11434

# サービスとして常駐させる運用では設定ファイルへ書く
sudo systemctl edit ollama
#   [Service]
#   Environment="OLLAMA_HOST=0.0.0.0:11434"
sudo systemctl restart ollama

公開範囲を広げる前に決めておく事項は次の3点です。第1に、Ollama自体は利用者認証を持たないため、前段にリバースプロキシや社内認証を置いて誰が使えるかを制御します。第2に、誰がどんな内容を投げたかの利用ログをどこに残すかを決めます。機密文書を扱う前提なら、ログ自体が機密になる点まで含めた設計が必要です。第3に、同時アクセスが増える見込みなら、この段階でvLLMなどスループット重視の基盤への載せ替えを検討します。社内基盤としての位置づけの整理は社内AIの類型と構築判断が参考になります。

ローカルLLM導入の判断基準：採用すべき要件と見送るべき場面

検索上位の記事はメリット・デメリットの列挙で終わりがちですが、実際の判断は要件との突き合わせです。受託開発でAI導入を支援してきた観点から、採用と見送りの基準を言い切ります。

ローカルLLMを選ぶべき3要件：機密性・通信制約・処理量の損益分岐

採用が合理的になる要件は3つです。①機密性要件：処理対象データの社外送信が規程・契約・法令で制限されている。②通信制約：オフライン環境や閉域網での動作が必須である。③処理量：API従量課金の月額が、機材償却と運用工数を上回る規模に達している。③は感覚でなく計算で判定します。月間トークン処理量×API単価と、GPU機材の月割償却＋運用工数の人件費を並べ、12〜24か月での回収可否を見ます。

3要件のいずれにも該当しないなら、クラウド型が第一候補です。該当が1つでもあれば、その業務に限定してローカル化する部分導入を検討します。全社の生成AI利用を一括でローカルに寄せる必要はなく、機密処理だけローカル、汎用作業はクラウドという併用が2026年9月時点の実務では多数派です。

見送るべき場面：最高精度が必要な用途と運用体制が組めない組織

次の場面では、ローカルLLMは採用しないと判断してください。第1に、最先端モデルの精度が業務要件になっている用途です。高度な推論・長大な文脈処理・複雑なエージェント動作が中心なら、公開モデルとの性能差が成果を直撃します。第2に、GPU運用・モデル更新・セキュリティ対応を担う技術者を確保できない組織です。導入はできても1年後に誰も面倒を見ていない、という結末は費用の全損を意味します。

第3に、「セキュリティが不安だから」という漠然とした理由だけの導入です。主要クラウド事業者は入力データを学習に使わない法人契約や国内リージョンの選択肢を用意しており、規程上それで足りるケースは少なくありません。ローカル化は手段であって目的ではないので、まず自社の規程が実際に何を禁じているかを確認し、クラウドの契約条件で満たせないと確定してから投資に進む順序を守ってください。

導入の進め方：小規模PoCとハイブリッド構成でリスクを抑える手順

進め方は段階投資が原則です。手順は、①対象業務と精度基準の定義、②手元マシン＋Ollamaでの小規模PoC、③精度・速度・運用負荷の評価、④必要VRAMから本番機材を確定、⑤クラウド併用のハイブリッド構成で本番化、の5段階です。PoC段階で大型GPUを買わないことが最大のリスク回避になります。前章の ollama ps による占有確認までを②③で終わらせておけば、④の機材見積もりは実測値からの逆算になります。

モデル選定・RAGとの組み合わせ・社内基盤化まで含めると、検討事項はインフラとアプリケーションの両方にまたがります。株式会社一創では、セキュリティ要件の整理からローカルLLM環境の構築、業務システムへの組み込みまでを生成AI導入支援として提供しています。オンプレ要件のあるAI導入で構成に迷う段階からの相談に対応可能です。

よくある質問

ローカルLLMの導入検討でよく出る質問に答えます。

ローカルLLMは無料で使えますか？

ソフトウェア費用はほぼ無料で始められます。Ollamaなどの実行環境と多くの公開モデルは無償で入手でき、手元のPCで動く範囲なら追加費用は発生しません。ただし商用利用の可否はモデルごとのライセンスで異なるため、業務利用前に配布元の利用条件の確認が必須です。gpt-ossのようにApache 2.0で公開されている例もありますが、系統ごとに条件は違います。また実用規模の運用ではGPU機材費と電気代、運用者の人件費がかかるので、「無料」はあくまで試用段階の話と捉えてください。

普通のノートPCでもローカルLLMは動きますか？

小型モデルなら動作可能です。目安として、メモリ16GB程度の一般的なノートPCでも、量子化済みの数十億パラメータ級モデルは動作します。公式のモデルカードでも、gpt-oss-20b（総21B・アクティブ3.6B）は16GB以内のメモリで動く前提が示されています。ただし応答速度と精度は控えめで、業務の本格利用より学習・検証向きです。快適さはGPUのVRAM容量（またはユニファイドメモリ量）でほぼ決まるため、本格導入時は用途に必要なモデル級から逆算して機材を選んでください。

ローカルLLMでもRAGは構築できますか？

できます。社内文書を検索して回答に反映するRAGの構成要素（埋め込みモデル・検索基盤・LLM）はすべてローカルで完結でき、機密文書を対象にしたRAGはローカルLLMの代表的な用途の1つです。構築の全体像はRAG構築の手順の解説で整理しています。精度は使用するモデルと検索設計に依存するため、小規模データでの検証から始めるのが安全です。実装にはLangChainなどの開発フレームワークがローカル構成でも使えます。

OllamaとvLLMはどう使い分けますか？

検証と少人数利用はOllama、同時アクセスの多い本番はvLLMという分担が扱いやすいです。OllamaはOpenAI互換の窓口を持ち、コマンド2つで動くため要件確認を素早く進められる構成です。一方でvLLMは複数リクエストをまとめて処理する設計で、同じGPUから引き出せる処理量が伸びます。判断材料は同時利用者数と待ち時間の許容幅で、両者はvLLMの仕組みの解説で比較しています。

Ollamaの版はどのくらいの頻度で上がりますか？

数日から2週間ほどの間隔で上がる想定で運用してください。公式のリリース一覧を2026年9月4日に確認した時点では、最新がv0.33.3（同年9月2日公開）で、その1つ前のv0.33.2は同年8月27日、v0.33.0は同年8月21日でした。新しいモデル系統への対応が版に紐づくため、動かしたいモデルが読み込めない場合は版が古い可能性を先に疑います。ただし本番機を毎回追随させる必要はなく、検証機で先に上げて動作を見てから本番へ反映する順序が安全です。

検閲なしモデルとは何ですか？

安全性のための応答制限を除去・緩和した公開モデルの通称です。ローカル環境では改変が技術的に可能なため、こうした派生モデルが流通しています。ただし業務利用では推奨しません。不適切出力による法的・レピュテーションリスクを自社が全面的に負うことになり、モデルのライセンス違反にあたる場合もあります。社内導入時は、利用可能モデルを承認制にする統制をセットで設計してください。

gpt-ossとは何ですか？

OpenAIが公開したオープンウェイトのLLMシリーズです。総パラメータ117B・アクティブ5.1Bのgpt-oss-120bと、総21B・アクティブ3.6Bのgpt-oss-20bの2規模があり、MoE重みをMXFP4で量子化してローカル実行できます。商用モデルで知られる同社が重み公開に踏み出した点で話題になりました。ベンチマーク結果や実行に必要なGPUの詳細はgpt-oss-120bと20bの比較記事を参照してください。