---
title: "ローカルLLMとは？クラウド型との違い・必要スペック早見表・Ollamaでの構築手順"
url: "https://www.issoh.co.jp/column/details/12964/"
published: 2026-07-04
updated: 2026-11-19
categories: ["AI"]
publisher: "株式会社一創"
---

# ローカルLLMとは？クラウド型との違い・必要スペック早見表・Ollamaでの構築手順

ローカルLLMとは、ChatGPTのようなクラウドサービスを経由せず、自社のサーバーや社内のPCで直接動かす大規模言語モデル（LLM）のことです。推論と検索などの周辺機能を社内で完結させれば、入力した文書を外部のAI事業者へ送らずに処理できます。この記事では、クラウド型との違い、モデルごとの必要メモリ、定番ツールOllamaでの構築手順を、2026年11月15日に取り直した版番号と、検証機で実行したコマンドの出力に基づいて整理します。導入判断では、社外送信の制約、必要な回答精度、運用担当者の確保を確認します。

## まとめ：ローカルLLMの向き不向きと導入判断の結論

ローカルLLMの主な価値は、データを外部に出さずにLLMの処理を完結できることです。社外送信が規程や契約で禁じられた文書を扱う業務、閉域網や工場などオフラインが前提の現場では、クラウド型より合理的です。重みが公開されたモデルの性能向上と量子化の普及で、メモリ16GBのノートPCでも8B〜9B級、24GBのGPUなら27B級が動くようになりました。

費用の安さを理由に選ぶのは勧めません。同じgpt-oss:20bをOllamaのクラウドで動かすと、出力100万トークンあたり0.30ドル（2026年11月15日の料金表）で、GPUの購入と保守を上回るには相当な処理量が要ります。選ぶ理由は機密性・通信制約・極端な処理量のどれかに絞り、それ以外はクラウドで小さく検証してから該当処理だけを手元に移すハイブリッド構成が現実的です。

もう1つ、2026年時点で見落とされやすい落とし穴があります。Ollamaには推論をOllama社のサーバーで行う「クラウドモデル」があり、Ollamaを入れただけではすべてがローカルで処理されるとは限りません。業務で使うならクラウド機能を止める設定までを導入手順に含めてください。以下、その手順を含めて順に解説します。

## ローカルLLMの定義とクラウド型（ChatGPT等）との違い

比較するのは、推論データの送信先、費用の発生条件、運用を担う主体です。

### ローカルLLMの定義：自社管理環境でモデルを実行する利用形態

ローカルLLMは製品名ではなく、[大規模言語モデル（LLM）](/column/details/3838/)の利用形態を指す言葉です。モデルの重み（学習済みパラメータ）のファイルを入手し、自社が管理するサーバー、社員のPC、自社契約のクラウド上の閉じた環境で推論を実行する構成を総称します。使うのは重みが公開された「オープンウェイトモデル」で、MetaのLlama、AlibabaのQwen、GoogleのGemma、OpenAIのgpt-ossなどが代表です。

規模は、開発者が自分のノートPCで動かす個人利用から、GPUサーバーを立てて部署全体にAPIを提供する社内基盤まで幅があります。共通するのは、自社がモデルの配置と推論処理を管理し、外部のLLM提供APIへ入力を送信しないことです。自社契約のクラウドに配置する場合は、社内完結やオフライン動作とは区別してください。社員のスマートフォンやPCへモデルを配る構成は要件が変わるため、[オンデバイスAIの仕組みと業務導入の判断基準](/column/details/17620/)で別に整理しています。

### ChatGPT・API型との違い：データの所在・費用構造・性能の比較

ChatGPTやAPI経由のGPT・Claude・Geminiといったクラウド型との違いは、次の表に集約できます。

| 比較軸     | ローカルLLM         | クラウド型LLM           |
| ------- | --------------- | ------------------ |
| データの所在  | 自社環境で完結         | 事業者のサーバーへ送信        |
| 費用構造    | 機材費＋電気代・保守・運用工数 | API従量課金／サービス月額料金など |
| モデル性能   | 公開モデルの範囲        | 各社の最上位モデル          |
| 立ち上げ    | 機材と環境構築が必要      | 契約後すぐ利用可           |
| オフライン動作 | 可               | 不可                 |
| 改版の追随   | 自社で判断・実施        | 事業者が実施             |

データの統制を取るならローカル、性能の上限と立ち上がりの速さを取るならクラウドという構図です。費用の考え方は[オンプレミスとクラウドの違い](/column/details/13425/)と同じで、初期投資を償却で回収する形と、使った分だけ払う形の対比になります。ただし、後述するOllamaのクラウド料金だけでは、ローカルとの費用優劣は決まりません。自社の入出力量と必要な処理性能に対して、機材費・電気代・運用工数を含めて比較してください。

### Ollamaのクラウドモデル：識別方法と無効化設定

Ollamaの公式ドキュメント（[Cloud](https://docs.ollama.com/cloud)）は、クラウドモデルについて「推論はOllamaのクラウドサービスで実行される」と明記しています。モデル一覧では `gpt-oss:120b-cloud` や `gemma4:cloud` のように名前に `cloud` が付き、サイズ欄にGB数ではなく「Low Usage」などの利用量区分が表示されます。ローカルのモデルと同じ `ollama run` で呼べるため、利用者が気づかないまま社外に文書を送る経路になり得ます。

Ollama社はクラウドの入出力を保存・記録せず学習にも使わないと[Cloud FAQ](https://docs.ollama.com/cloud/faq)で説明していますが、「社外送信そのものが禁止」という規程の前では関係ありません。[公式FAQ](https://docs.ollama.com/faq)にあるとおり、環境変数 `OLLAMA_NO_CLOUD=1` か、`~/.ollama/server.json` の `"disable_ollama_cloud": true` を設定し、Ollamaを再起動するとクラウド機能を止められます。

```
# クラウド機能を止めて起動する（Linux・macOSのシェル）
# 既存のOllamaサーバーを停止してから、このターミナルで起動する
export OLLAMA_NO_CLOUD=1
ollama serve

# ollama serveは起動したままにし、下のollama runは別ターミナルで実行する
# 起動ログに次の行が出れば無効化できている
#   msg="Ollama cloud disabled: true"

# この状態でクラウドモデルを呼ぶと拒否される
ollama run gpt-oss:20b-cloud "hi"
#   Error: ollama cloud is disabled: remote model details are unavailable
```

コメント内の2行は、Ollama v0.40.16を検証機（Intel Core i9-9880H・メモリ16GB・GPUなし）で動かした2026年11月15日の実際の出力です。インストーラーで常駐しているサーバーには、シェルでの `export` は効きません。常駐させる場合は `~/.ollama/server.json` に書くか、Linuxのsystemdなら後述の部署共有サーバーの手順のようにサービス側の環境変数へ書きます。社内配布するPCやサーバーでは、この設定をインストール手順の1行目に入れておくと、モデル名の打ち間違いで文書が外へ出る事故を構造的に防げます。

## ローカルLLMの利点と弱点：機密保持・コスト・精度の実務評価

利点と弱点は同じ構造の裏表です。導入後に効いてくる順に評価します。

### 利点：社外送信なしの機密保持とオフライン動作

第一の利点は機密保持です。顧客の個人情報、開発中製品の設計情報、医療・金融データなど、社外送信が規程や契約で禁じられている情報でも処理対象にできます。推論と周辺機能を社内で完結させれば、入力データを外部のAI事業者へ送らずに運用できます。ただし、モデルやソフトウェアの利用条件、適用される法令の確認は必要です。自社データでの[ファインチューニング](/column/details/12965/)を自由に行える点も、公開モデルを手元で運用する利点です。

第二がオフライン動作です。Ollamaでは必要なモデルを事前に取得し、クラウドモデルや外部検索を使わない構成にすれば、閉域網などでも推論できます。第三が処理量に比例しない費用で、ログの全件分類のように呼び出し回数が桁違いに多い処理では、機材を回し続けるほど1件あたりの費用が下がります。

### 弱点：性能の上限・運用負荷と小型モデルの誤答

最大の弱点は性能の上限です。複雑な推論や長い文脈、エージェント用途では各社の最上位クラウドモデルが先行しており、クラウドで解けたタスクがローカルの中型モデルでは精度を落とすことは普通に起きます。小さすぎるモデルでは基本的な知識でも誤ります。検証機で `qwen3:0.6b`（ファイル522MB）に「日本の首都を一語で答えて」と投げると、「京都」と答えました。次章の表で機材に載る候補を絞り、業務で求める精度を満たすかは自社の評価用データで確認する必要があります。

運用負荷も小さくありません。GPUの調達と保守、モデルの更新判断、脆弱性対応、利用ログの管理がすべて自社の責任になります。実行環境の改版も速く、Ollamaは[GitHubのリリース一覧](https://github.com/ollama/ollama/releases)で2026年10月27日のv0.40.12から11月9日のv0.40.16まで、2週間で5版が出ています。担当できる技術者がいない組織で導入後に塩漬けになるのが典型的な失敗で、機材費だけでなく運用者の工数まで含めた総額で比較してください。

費用面の優位も過大評価されがちです。Ollamaの[料金ページ](https://ollama.com/pricing)では、gpt-oss:20bのクラウド実行は入力100万トークン0.07ドル・出力0.30ドル、gpt-oss:120bでも0.15ドル・0.60ドルです（2026年11月15日時点）。gpt-oss:120bで月に1億トークンを出力する場合、出力分の従量料金は60ドルです。総額には入力分の料金も加わるため、自社の入出力量と機材・運用費を比較して判断してください。

## ローカルLLMの必要スペック：モデル別のメモリ早見表

「どんなPCなら動くのか」は、モデルのパラメータ数、量子化の深さ、扱う文脈の長さでほぼ決まります。

### 量子化と文脈長：必要メモリが決まる仕組み

推論では、モデルの重みをCPU用のメインメモリ、GPUのメモリ（VRAM）、Apple Siliconのユニファイドメモリなどに読み込みます。CPUとGPUに分けて配置する構成も可能です。必要量はおおむね「パラメータ数×1パラメータあたりのビット数」で決まり、量子化はこのビット数を16bitから8bitや4bitへ減らす技術です。標準タグの量子化方式はモデルごとに異なります。Q4\_K\_Mが使われる例では、たとえば `qwen3:8b` は16bit版の16GBに対して4bit版が5.2GBです。方式ごとの違いは[LLM量子化の仕組みとGPTQ・AWQ・GGUFの違い](/tech/details/13791/)、配布形式は[GGUFの解説](/tech/details/13788/)で整理しています。

見落とされやすいのが文脈長です。会話や読み込ませる文書が長いほど、重みとは別に文脈を保持するメモリ（KVキャッシュ）が増えます。Ollamaは[公式ドキュメント](https://docs.ollama.com/context-length)のとおり、VRAMが24GiB未満なら4k、24GiB以上48GiB未満なら32k、48GiB以上なら256kを既定の文脈長にします。長い社内規程を丸ごと読ませたい場合は文脈長を広げる設定が必要で、その分だけメモリも要ります。

### 主要モデルのサイズ早見表：8Bから120Bまでの機材の目安

次の表は、[Ollamaのモデル一覧](https://ollama.com/library)に掲載されている標準タグのダウンロードサイズ（2026年11月15日時点）と、それを載せられる機材の目安です。機材欄は短い文脈・単一リクエストでの初期検討用の概算で、動作保証値ではありません。長い文脈や同時処理では必要メモリが増えるため、採用前に設定を固定して実測してください。

| モデル（タグ）         | 規模             | サイズ       | 機材の目安        |
| --------------- | -------------- | --------- | ------------ |
| qwen3:8b        | 8B             | 5.2GB     | メモリ16GBのPC   |
| qwen3.5:9b      | 9B             | 6.6〜7.6GB | メモリ16GBのPC   |
| gemma4:12b      | 12B            | 7.7〜8.0GB | VRAM 12〜16GB |
| gpt-oss:20b     | 総21B（稼働3.6B）   | 14GB      | VRAM 16GB以上  |
| gemma4:26b      | 総25.2B（稼働3.8B） | 16〜19GB   | VRAM 24GB    |
| qwen3.6:27b     | 27B            | 18〜19GB   | VRAM 24GB    |
| qwen3.6:35b-a3b | 35B（稼働3B）      | 23GB      | VRAM 32GB    |
| llama3.1:70b    | 70B            | 43GB      | VRAM 48GB以上  |
| gpt-oss:120b    | 総117B（稼働5.1B）  | 65GB      | 80GB級GPU     |

「稼働」と書いたモデルはMoE（混合エキスパート）型で、総パラメータのうち1トークンの生成で動くのは一部だけです。重み全体を保持するメモリは必要ですが、稼働パラメータ数だけでは生成速度を予測できません。速度はメモリ帯域やCPU・GPUへの配置、推論エンジンにも左右されます。gpt-ossの数値は[Hugging Faceのモデルカード](https://huggingface.co/openai/gpt-oss-20b)の記載で、20bは16GBのメモリ内、120bは80GBのGPU1枚で動く前提が示されています。より詳しい性能比較は[gpt-oss-120bと20bの比較記事](/tech/details/8080/)にまとめています。

### 用途別のモデル系統：「一番強いモデル」より自社評価

候補になる系統は、多言語とコーディングに強いQwen、画像入力と軽量帯が充実したGemma 4、OpenAIが出したgpt-oss、小型で商用利用しやすいMicrosoftのPhi（[Phiの系譜と実行要件](/tech/details/15838/)）などです。検討順は自社の用途と機材条件に合わせて決めてください。日本語の業務文書が中心なら、国内勢が日本語で追加学習したモデルも候補に入ります。Qwen3.6（[Hugging Faceのモデルカード](https://huggingface.co/Qwen/Qwen3.6-27B)）、Gemma 4（[Googleのモデルカード](https://ai.google.dev/gemma/docs/core/model%5Fcard%5F4)）、gpt-ossはいずれもApache 2.0で、商用利用の条件は比較的緩やかです。ただしライセンスはモデルごとに違うため、表にない系統を使うときは配布ページの利用条件を採用前に確認してください。

「どれが一番強いか」というランキングには頼らないほうが確実です。ベンチマークの順位はタスクで入れ替わり、Ollamaの一覧でもqwen3.5からqwen3.6への世代交代が数か月で起きています。初期比較では、自社の代表的な依頼文を10〜20件用意し、機材に載る2〜3系統へ同じ質問を投げて、回答品質と生成速度を比較してください。本番採用前には、例外的な依頼や誤答の影響が大きい依頼も評価対象に加えます。

### 実機で必要メモリを測る：ollama psの読み方

カタログ値を暗算するより、導入予定の1台で測るほうが確実です。Ollamaでは、取得済みモデルのファイルサイズを `ollama list`、読み込み中のモデルの実際の占有量と処理先を `ollama ps` で確認できます。

```
$ ollama list
NAME          ID              SIZE      MODIFIED
qwen3:0.6b    7df6b6e09427    522 MB    Less than a second ago

$ ollama ps
NAME          ID              SIZE      PROCESSOR    CONTEXT    RUNNER      UNTIL
qwen3:0.6b    7df6b6e09427    1.0 GB    100% CPU     4096       llamacpp    4 minutes from now
```

上はGPUなしの検証機の出力で、522MBのファイルが読み込み後は1.0GBを占め、文脈長は既定の4096、処理先は100% CPUでした。GPU搭載機で「100% GPU」と出ればVRAMに収まっています。CPUへの分割配置で生成速度が要件を下回る場合は、量子化を1段深くするか、モデル級を1段下げて調整します。GPUを買い足す前にこの2コマンドで詰めるほうが、投資の効き方がはっきりします。

## 実行ツールの違い：Ollama・LM Studio・llama.cpp・vLLMの使い分け

ローカルLLMを動かすソフトは主に4つあり、役割が重なりつつも得意な場面が分かれます。

| ツール       | 操作            | 向く場面            | 既定のAPIポート          |
| --------- | ------------- | --------------- | ------------------ |
| Ollama    | CLI・デスクトップアプリ | 検証、少人数での共有      | 11434              |
| LM Studio | GUI           | 非エンジニアの試用、モデル探し | 1234               |
| llama.cpp | CLI・ライブラリ     | 組み込み、細かな調整      | 9931（llama-server） |
| vLLM      | Pythonサーバー    | 同時アクセスの多い本番     | 8000               |

「Ollamaとllama.cppの違い」はよく聞かれますが、両者は競合というより階層の違いです。上の `ollama ps` の RUNNER 列が `llamacpp` だったように、Ollamaはllama.cppなどの推論エンジンを内部に組み込み、その上にモデルの取得・管理とAPIをかぶせています。llama.cppを直接使うのは、Ollamaが公開していない起動オプションを触りたい場合や、アプリに推論を組み込みたい場合です。llama.cppは[リリース一覧](https://github.com/ggml-org/llama.cpp/releases)でb12386（2026年11月14日）のように通し番号で毎日のように版が上がり、llama-serverの既定ポートも[2026年10月9日の変更](https://github.com/ggml-org/llama.cpp/pull/30159)で8080から9931に変わりました。ネイティブ実行で8080を前提にした接続設定を使う場合は、起動時に `--port` を明示するか接続先を変更してください。ただし、この変更ではDockerコンテナー内の既定ポートは8080に維持されています。

LM StudioはGUIでモデルを探して試すのに向き、MCP連携などの設定は[LM StudioのMCP設定の記事](/tech/details/11736/)で扱っています。同時に数十人が使う本番では、複数のリクエストをまとめて処理するvLLMのほうが同じGPUから多くの処理量を引き出せます。比較の詳細は[vLLMの仕組みとOllamaとの違い](/tech/details/15786/)を参照してください。まず1本選ぶならOllamaで検証し、要件が固まってから本番基盤を決める順序が扱いやすいです。

## OllamaでのローカルLLM構築手順：導入・API連携・社内公開

ここからは、Ollamaを入れてモデルを動かし、既存ツールから呼び出し、部署で共有するまでを順に実行します。

### インストールとモデル取得：日本語の応答品質の確認

Windows・macOSは[公式のダウンロードページ](https://ollama.com/download)からインストーラーを入れ、Linuxは同ページのスクリプトで導入します。2026年11月15日時点の最新安定版はv0.40.16（11月9日公開）です。導入後は次のコマンドで、版の確認から対話までが通ります。

```
# 版を確認する
ollama --version

# 8B級のモデルを取得する（初回は5.2GBのダウンロードが走る）
ollama pull qwen3:8b

# 対話を開始して日本語の応答品質を見る
ollama run qwen3:8b

# 一問だけ投げて終了させたい場合は引数で渡す
# 以下の就業規則は動作確認用の架空の例
ollama run qwen3:8b "次の就業規則の抜粋を3行でまとめて。本文：始業は午前9時、終業は午後6時。休憩は正午から1時間。休暇の申請は社内システムで行う。"
```

ここで見るのは、日本語の応答が業務文書に耐えるか、生成速度が待てる範囲か、自社の代表的な依頼文で意図を外さないかの3点です。GPUなしの検証機では0.6Bモデルでも毎秒16〜18トークンで、同じ機材なら8B級はこれより遅くなる見込みです。品質が足りないときは、機材を増やす前にモデル系統を替えて同じ質問を投げ直します。比較結果には、正答率・指示への追従率・生成速度を記録してください。

### OpenAI互換API：既存の社内ツールとの接続

既存ツールとの接続には、OllamaのOpenAI互換APIを使えます。Ollamaはポート11434で待ち受け、[OpenAI互換のエンドポイント](https://docs.ollama.com/api/openai-compatibility)を `http://localhost:11434/v1/` で公開しています。クラウドAPI前提で作った既存ツールは、接続先とモデル名を差し替えるだけでローカル化できる場合があります。

```
# 事前準備: python -m pip install openai
from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:11434/v1/",
    api_key="ollama",  # 形式上必須だが値は無視される
)

res = client.chat.completions.create(
    model="qwen3:8b",
    messages=[{"role": "user", "content": "次の議事録を3行で要約して。議事録：新製品の発売日は12月1日。広報担当は佐藤。次回会議は11月20日。"}],
)
print(res.choices[0].message.content)
```

公式ドキュメントのとおり、api\_keyは形式上必須ですがOllamaは値を無視します。移行で詰まりやすいのはモデル名と文脈長です。検証機でモデル名を `gpt-4o` のまま投げると、HTTP 404と `model 'gpt-4o' not found` が返りました。長文を送るコードでは、割り当てられた文脈長を `ollama ps` の CONTEXT 列で見ておきます。既定値はVRAM量で変わり、一律に4kとは限りません。移行時の最初の点検項目は、モデル名の置換と文脈長の設定の2つです。

### 部署共有サーバーへの公開：OLLAMA\_HOSTとアクセス制御

Ollamaは既定で127.0.0.1（同じマシン）からの接続しか受け付けません。部署で共有するサーバーに立てる場合は、[公式FAQ](https://docs.ollama.com/faq)の手順どおり環境変数 `OLLAMA_HOST` で待ち受けアドレスを変えます。

```
# systemdで常駐させているLinuxサーバーの場合
# 開いたエディターに、下記の[Service]とEnvironmentの計3行を
# 各行先頭の「#   」を除いて記入し、保存して終了する
sudo systemctl edit ollama
#   [Service]
#   Environment="OLLAMA_HOST=0.0.0.0:11434"
#   Environment="OLLAMA_NO_CLOUD=1"
sudo systemctl daemon-reload
sudo systemctl restart ollama
```

公開範囲を広げる前に決めることは3つあり、重要な順に並べます。1つ目は認証です。Ollama自体は利用者認証を持たないため、認証付きリバースプロキシを前段に置きます。上記の全インターフェース待ち受けを使う場合は、ファイアウォールで11434番ポートへの接続元をプロキシに限定し、利用者が認証を迂回して直接接続できないようにしてください。2つ目は利用ログの置き場所で、機密文書を扱うならログ自体が機密になる前提で設計します。3つ目は同時アクセス数で、増える見込みならこの段階でvLLMへの載せ替えを検討します。社内基盤としての位置づけは[社内AIの種類と自社構築か外注かの判断基準](/column/details/13601/)が参考になります。

## ローカルLLM導入の判断基準：採用すべき要件と見送るべき場面

メリットとデメリットを並べるだけでは判断できません。データの送信制約、必要な回答精度、運用体制を要件と突き合わせ、採否を判断します。

### ローカルLLMを選ぶべき3要件：機密性・通信制約・処理量

採用が合理的になるのは次の3つのいずれかに当てはまる場合です。①機密性：処理するデータの社外送信が、規程・契約・法令で禁じられている。②通信制約：オフラインや閉域網での動作が必須である。③処理量：クラウドの従量課金が、機材の月割償却と運用者の人件費を上回る規模に達している。③は感覚ではなく、月間トークン量×API単価と、機材の月割＋運用工数を並べて12〜24か月で回収できるかを計算して判定します。前章のとおりクラウドの単価は低いため、③だけで採用を決める場合は入力分を含めた試算が欠かせません。

3要件のどれにも当てはまらなければクラウド型が第一候補です。1つでも当てはまれば、その業務だけをローカル化する部分導入から始めます。全社の生成AI利用をまとめてローカルに寄せる必要はなく、機密処理はローカル、汎用作業はクラウドという併用も選択肢になります。

### 見送るべき場面：最高精度が要る用途と運用体制が組めない組織

次の場面ではローカルLLMを採用しないでください。1つ目は最上位モデルの精度が業務要件になっている用途で、高度な推論・長い文脈・複雑なエージェント動作が中心なら、公開モデルとの差が成果に直結します。2つ目はGPUの運用・モデル更新・セキュリティ対応を担う技術者を確保できない組織です。導入後の保守担当者を決められなければ、更新停止や脆弱性の放置につながり、継続運用が難しくなります。

3つ目は「なんとなくセキュリティが不安だから」という理由だけの導入です。主要なクラウド事業者は入力を学習に使わない法人契約や国内リージョンを用意しており、規程上それで足りるケースは少なくありません。まず自社の規程が何を禁じているかを確かめ、クラウドの契約条件では満たせないと確定してから投資に進んでください。関連する内容として、[SenseNova](https://www.issoh.co.jp/column/details/2994/)もご覧ください。

### 導入の進め方：小規模PoCからハイブリッド構成へ

投資は段階的に行います。①対象業務と合格基準の定義、②既存のPCとOllamaでの小規模な検証、③精度・速度・運用負荷の評価、④ `ollama ps` の実測値から本番機材を確定、⑤クラウドと併用する形で本番化、の5段階です。検証段階で大型GPUを買わないことが最大のリスク回避になります。業務での具体的な使い道は[ローカルLLMの活用事例と国内導入例](/tech/details/2559/)にまとめています。

モデル選定、RAGとの組み合わせ、社内基盤化まで含めると、検討はインフラとアプリケーションの両方にまたがります。株式会社一創では、セキュリティ要件の整理からローカルLLM環境の構築、業務システムへの組み込みまでを[生成AI導入支援](/service/ai/genai/)として提供しています。オンプレミス要件のあるAI導入で構成に迷う段階からご相談いただけます。

## よくある質問

### ローカルLLMは無料で使えますか？

ソフトウェアは無料で始められます。Ollamaなどの実行環境と多くの公開モデルは無償で入手でき、既存のPCで動く範囲なら、機材の追加購入費を抑えて試せます。ただし商用利用の可否はモデルごとのライセンスで異なるため、業務で使う前に配布元の利用条件を確認してください。実用規模ではGPU機材費・電気代・運用者の人件費がかかるので、「無料」は試用段階の話と捉えるのが正確です。

### 普通のノートPCでもローカルLLMは動きますか？

メモリ16GBのノートPCなら、5〜8GB程度の8B〜9B級モデル（qwen3:8bやqwen3.5:9b）は動きます。GPUなしの検証機では0.6Bモデルで毎秒16〜18トークンでした。8B級の速度は未測定のため、業務利用の可否は採用候補を実機で測って判断してください。メモリ容量は動かせるモデルの上限を左右します。応答速度はGPU・CPUの性能、メモリ帯域、モデルや文脈長にも左右されるため、実際の依頼文で確認してください。

### ローカルLLMでもRAGは構築できますか？

できます。社内文書を検索して回答に反映するRAGは、埋め込みモデル・検索基盤・LLMのすべてをローカルで完結でき、機密文書を対象にしたRAGはローカルLLMの代表的な用途です。工程は[RAG構築の手順と技術スタック](/column/details/12920/)で整理しています。割り当てられた文脈長が4kの場合は検索結果を多く渡せないため、検索結果の量と文脈長の設定をあわせて見直してください。

### Ollamaのクラウドモデルは無料ですか？

無料ではありません。Ollamaの料金ページでは、月額なしの従量課金（gpt-oss:20bで出力100万トークン0.30ドル等）と、使用クレジット60ドル付きで月20ドルのProなどのプランが示されています。クラウドモデルを使うにはOllamaアカウントへのサインインが必要で、推論は社外で行われます。社外送信を避けたい用途では、本文で紹介した `OLLAMA_NO_CLOUD=1` で止めてください。

### 検閲なしモデルとは何ですか？

安全性のための応答制限を取り除いたり緩めたりした公開モデルの通称です。ローカル環境では重みの改変が技術的に可能なため、こうした派生モデルが出回っています。業務利用は勧めません。不適切な出力による法的・評判上のリスクを自社が全面的に負い、元モデルのライセンスに反する場合もあります。社内導入では、利用できるモデルを承認制にする統制をセットで設計してください。

## 関連記事

- [ローカルLLMの活用事例｜個人・業務の使い方と国内導入例、Ollamaでの始め方](/tech/details/2559/)
- [vLLMとは？PagedAttentionの仕組み・使い方とOllama・TensorRT-LLMとの違い・0.32.0の脆弱性対応](/tech/details/15786/)
- [LLM量子化とは？仕組みとGPTQ・AWQ・GGUFの違い・企業の採用判断を解説【2026年版】](/tech/details/13791/)
- [gpt-oss-120bの性能と比較｜20b・Qwen3.5・Nemotron 3 Superとのベンチマーク、必要スペック](/tech/details/8080/)
- [RAG構築の手順と技術スタック：データ整備から精度改善・本番運用までの進め方](/column/details/12920/)

---

出典: [ローカルLLMとは？クラウド型との違い・必要スペック早見表・Ollamaでの構築手順](<https://www.issoh.co.jp/column/details/12964/>)（株式会社一創）
