---
title: "RAG構築の手順と技術スタック：データ整備から精度改善・本番運用までの進め方"
url: "https://www.issoh.co.jp/column/details/12920/"
published: 2026-07-03
updated: 2026-11-15
categories: ["AI"]
publisher: "株式会社一創"
---

# RAG構築の手順と技術スタック：データ整備から精度改善・本番運用までの進め方

RAG（検索拡張生成）の構築は、データ整備、テキスト抽出とチャンク分割、埋め込みとベクトルデータベースへの格納、検索と生成の接続、評価、運用の6工程で進みます。検証構成の立ち上げと、本番で必要な精度・運用体制の整備は分けて計画します。この記事では、各工程で決めること、技術スタックと構築方式の選び方、日本語文書に特有の落とし穴、精度が出ないときに手を打つ順序を、公式ドキュメントと論文の数値で整理します。

## まとめ：RAG構築の手順と判断の要点

- 手順は「データ整備→抽出・分割→埋め込み・格納→検索・生成→評価→運用」の6工程です。最初に時間をかけるのはデータ整備で、旧版・重複・画像のままのPDFを残すと、検索をいくら改良しても矛盾した根拠が返ります。
- 技術スタックの中心は、埋め込みモデル、ベクトルデータベース、LLMの3つで、工程の接続にはLangChainなどのフレームワークを使うか各APIを直接呼びます。社内文書の検索応答を早く試すなら、分割と検索まで任せられるマネージド型（OpenAIのFile Search、Vertex AI RAG Engine、Amazon Bedrockのナレッジベース）から始めます。
- 日本語文書では、分割器の既定の区切り文字に句点が含まれるかと、全文検索のトークン化方式が日本語に合っているかを確認します。トークン化には形態素解析や文字N-gramなどの選択肢があります。
- 精度改善は「誤答時に検索されたチャンクを見る→データを直す→ハイブリッド検索→リランキング」の順に進めます。Anthropicの実験では、通常の埋め込み検索を基準に、文脈付きの埋め込みと文脈付きBM25の併用で上位20チャンクの検索失敗率が49%、さらにリランキングを加えて67%下がりました。
- 評価用の質問と期待回答の組を構築時に作り、検索と生成を分けて測ります。これが無いと、本番で精度が落ちても気付けません。

RAGの仕組みそのものから確認したい場合は[RAGの仕組みとファインチューニングとの違い](/column/details/12919/)を先に読むと、以下の工程が追いやすくなります。

## RAG構築の6工程と各工程で決めること

RAGは2020年にLewisらが[論文（NeurIPS 2020採択）](https://arxiv.org/abs/2005.11401)で提案した、外部の文書を検索して生成の根拠に使う方式です。企業で構築するときの工程と、それぞれで決めておかないと後で手戻りになる事項を順に示します。

### データ整備：対象文書の棚卸しと版・権限の決定

最初に、回答の根拠にしてよい文書を決めます。同じ規程の旧版と新版、内容が重複した手順書、部署ごとに用語が違う資料が混ざったまま索引に入れると、検索は両方を拾い、LLMは矛盾した根拠から回答を作ります。この段階で決めることは3つです。対象にする文書の範囲、版の扱い（最新版だけを載せるか、旧版を版数付きで残すか）、文書ごとの閲覧権限と更新責任者です。権限は後から足すのが難しく、検索結果への権限外文書の混入を防ぐには、文書に権限メタデータを付け、認証した利用者の権限に基づいて検索時に絞り込む必要があります。Azure AI Searchのセキュリティフィルターも、この照合を検索クエリで行います。

### テキスト抽出とチャンク分割：検索単位を作る前処理

PDF・Word・スキャン画像から本文を取り出し、検索の単位（チャンク）に区切ります。表や段組みを含むPDFは、単純なテキスト抽出だと列が混ざって読めない文字列になるため、構造を保ったままMarkdownへ変換する[Docling](/tech/details/17736/)や、スキャン文書を読み取る[Google Document AI](/tech/details/3120/)を前段に挟みます。

チャンクの大きさには目安があります。OpenAIのFile Searchは[既定で800トークンのチャンクと400トークンの重なり](https://developers.openai.com/api/docs/guides/retrieval)を使い、MicrosoftはAzure AI Searchで[512トークンのチャンクと25%の重なりから始める](https://learn.microsoft.com/en-us/azure/search/vector-search-how-to-chunk-documents)ことを推奨しています。どちらも出発点であって正解ではないため、評価用の質問で切り方を比べて決めます。単位の違いと日本語での実測は[チャンクとトークンの違いとチャンク分割の実測](/tech/details/8016/)にまとめています。

### 埋め込みとベクトルデータベースへの格納

チャンクを埋め込みモデルでベクトルに変換し、メタデータ（文書名・版数・部署・更新日・権限）と一緒にベクトルデータベースへ登録します。OpenAIの埋め込みモデルの場合、[既定の次元数はtext-embedding-3-smallが1536、text-embedding-3-largeが3072](https://developers.openai.com/api/docs/guides/embeddings)で、料金は100万トークンあたり0.02米ドルと0.13米ドルです（2026年11月時点）。埋め込みモデルを後から替えると全チャンクの再計算が必要になるため、日本語の検索性能を比べてから決めます。選び方は[日本語の埋め込みモデルの選び方](/tech/details/16044/)、データベースの料金体系は[ベクトルデータベースの価格と選び方](/column/details/16480/)で比較しています。

### 検索と生成の接続：渡すチャンクの数と並べ方

質問を同じ埋め込みモデルでベクトル化し、近いチャンクを上位から取り出してプロンプトに入れ、LLMに回答させます。ここで決めるのは、渡すチャンクの数と、根拠が無いときの振る舞いです。チャンクを多く渡せば取りこぼしは減りますが、長い入力の中ほどにある情報はモデルが使いにくくなることが[Lost in the Middle（arXiv:2307.03172）](https://arxiv.org/abs/2307.03172)で報告されています。関連度の高いチャンクを先頭に置き、根拠が見つからない場合は「文書に記載がない」と答えさせる指示をプロンプトに入れます。実装はLangChainなら[LangChainでRAGを構築する手順](/tech/details/2332/)、索引の作り方を細かく制御したいなら[LlamaIndex](/tech/details/15836/)が参考になります。

### 評価：検索と生成を分けて測るテストセット

想定質問と期待回答、根拠になる文書の組を、少なくとも数十件作ります。測るのは2段階です。検索段階では「正解の根拠が上位に入ったか」、生成段階では「回答が渡した根拠に沿っているか」を見ます。評価ライブラリのRagas（2026年11月14日公開の0.4.4が最新）では、検索側を[context recall](https://docs.ragas.io/en/stable/concepts/metrics/available%5Fmetrics/context%5Frecall/)（必要な情報をどれだけ取れたか）とcontext precision（関連するチャンクを上位に並べられたか）、生成側を[faithfulness](https://docs.ragas.io/en/stable/concepts/metrics/available%5Fmetrics/faithfulness/)（回答の主張が検索した文脈で裏付けられるか）とresponse relevancy（回答が質問に沿っているか）で測ります。実装手順は[RAGASの指標と0.4系の実装手順](/tech/details/16042/)、運用への組み込み方は[RAG評価の指標と運用](/tech/details/15935/)で扱っています。

## RAG構築の技術スタックとマネージド型・自前構築の選び方

RAGを構成する部品と代表的な選択肢を表にします。

| 部品      | 役割            | 代表的な選択肢                       |
| ------- | ------------- | ----------------------------- |
| 文書解析    | PDF・画像から本文を抽出 | Docling、Google Document AI    |
| 埋め込みモデル | チャンクをベクトル化    | text-embedding-3、多言語のOSSモデル   |
| ベクトルDB  | ベクトルの格納と近傍検索  | pgvector、Qdrant、Elasticsearch |
| 全文検索    | 型番・略語の一致検索    | Elasticsearch（BM25）           |
| フレームワーク | 工程の接続         | LangChain、LlamaIndex          |
| LLM     | 回答の生成         | 商用API、ローカルLLM                 |
| 評価      | 検索と生成の採点      | Ragas                         |

### マネージド型で始めるのが向く条件

文書をクラウドに置けて、対象データ量・権限制御・検索設定がサービスの仕様と予算に収まり、最初の目的が「使われるかどうかの検証」であるなら、分割・埋め込み・検索をまとめて引き受けるマネージド型から始めます。OpenAIのFile Search、Google Cloudの[Vertex AI RAG Engine](/tech/details/18418/)、[Amazon Bedrockのナレッジベース](/tech/details/4204/)がこれに当たります。分割の既定値や検索方式の選択肢はサービスが決めた範囲に限られるため、評価で精度が頭打ちになった時点が自前構築へ移る判断の目安です。

### 自前構築・ローカルLLMを選ぶ条件

文書を社外のAPIに送れない、部署ごとの閲覧権限を検索結果に反映したい、型番や社内略語の検索を細かく調整したい場合は、まずマネージド型の権限連携・メタデータフィルター・検索設定で要件を満たせるか確認し、満たせない部分を自前で組みます。ローカルLLMと手元の埋め込みモデルを使えば、文書も質問も社外に出ない構成にできます。代わりに推論環境の運用とモデルの更新を自分で担います。OllamaのようにCPU推論も可能な実行環境があるため、GPUの要否は必要な応答速度とモデルの規模から判断します。また、小型モデルは渡した根拠を読み違えやすいため、評価用の質問での正答率を商用APIと並べてから採否を決めます。

## 日本語文書でRAGを構築するときの落とし穴

海外の手順をそのまま日本語の社内文書に当てると、次の2か所で精度が落ちます。英語の文書では表に出にくい問題です。

### RecursiveCharacterTextSplitterの既定の区切り文字と句点

LangChainの`RecursiveCharacterTextSplitter`（langchain-text-splitters 1.1.3）は、区切り文字の既定が改行2つ・改行・空白・空文字の4種類で、句点「。」を含みません。日本語には単語間の空白が無いため、文の途中でも指定の文字数ちょうどで切れます。2026年11月15日に手元で366字の社内規程の例文を`chunk_size=100`で分けたところ、チャンクは100字ずつに切られ、1つ目は「申請は情報」で文の途中で終わりました。区切り文字に「。」と「、」を足し、`keep_separator="end"`で句点をチャンクの末尾に残すと、4つのチャンクがすべて文末で終わりました。

```
# 事前に pip install langchain-text-splitters==1.1.3 を実行
from langchain_text_splitters import RecursiveCharacterTextSplitter

text = (
    "出張旅費は出張終了後10営業日以内に精算する。精算には領収書の原本を添付する。"
    "海外出張の場合は為替レートの証明も必要となる。紛失時は経理部へ報告書を提出し、"
    "上長の承認を得たうえで再申請する。申請は情報システム上で行い、紙の申請書は受け付けない。"
) * 3

splitter = RecursiveCharacterTextSplitter(
    chunk_size=100,
    chunk_overlap=20,
    separators=["\n\n", "\n", "。", "、", ""],
    keep_separator="end",
)
chunks = splitter.split_text(text)
```

### 日本語の全文検索：形態素解析と文字N-gramの選択

型番や社内略語を拾うためにベクトル検索と全文検索を併用するとき、日本語の全文検索では、形態素解析で単語に分ける方法や、文字N-gramで連続する文字列に分ける方法などから、文書と質問に合うトークン化方式を選びます。Elasticsearchでは[kuromojiプラグインのトークナイザーがMeCab-IPADIC辞書で日本語を単語に分割](https://www.elastic.co/docs/reference/elasticsearch/plugins/analysis-kuromoji-analyzer)し、その単語に対して既定のBM25でスコアを付けます。社内用語や製品名は辞書に無いと細かく割れて一致しなくなるため、ユーザー辞書への登録を構築の作業に含めます。設定例は[Elasticsearchの日本語全文検索とkuromojiの構成](/tech/details/17033/)にあります。

## 回答精度が出ないときの改善手順と試す順序

手法から選ぶと、効かない改修にコストを使います。症状を特定してから、効く打ち手を順に足します。

### 誤答時に検索されたチャンクを見る切り分け

誤答した質問について、検索で取り出されたチャンクを並べて読みます。まず次の3パターンを確認し、Ragasのcontext recallやfaithfulnessの結果と照合して、検索と生成のどちらで失敗したかを調べます。

- 検索されたチャンクが古い、または互いに矛盾している：データ整備の問題です。旧版の除外とメタデータでの絞り込みを先に直します。
- 正解のチャンクが検索結果に入っていない：分割と検索方式の問題です。分割の見直しとハイブリッド検索を試します。
- 正解のチャンクは入っているのに回答が誤っている：並び順、プロンプト、モデルの読解・推論性能を切り分けます。リランキングと根拠の使い方の指示を試し、改善しなければモデルも比較します。

検索されたチャンクに旧版や矛盾が含まれている場合は、検索方式を改修する前に、対象文書と版の扱いを修正します。

### ハイブリッド検索：RRFによる順位リストの統合

ベクトル検索は言い換えに強い一方、型番や略語の完全一致に弱く、全文検索はその逆です。両方を走らせて結果を統合するのがハイブリッド検索で、統合にはスコアの尺度が違っても使えるRRF（Reciprocal Rank Fusion）が標準的です。[Azure AI Searchもハイブリッドクエリの統合にRRFを使います](https://learn.microsoft.com/en-us/azure/search/hybrid-search-ranking)。RRFは各結果リストでの順位から1/(k+順位)を足し合わせる方式で、定数kは[Cormackらの2009年の論文](https://cormack.uwaterloo.ca/cormack/cormacksigir09-rrf.pdf)で60に設定されました。

```
def rrf(rankings, k=60, top_n=5):
    """複数の検索結果（文書IDの順位リスト）をRRFで1本に統合する"""
    scores = {}
    for ranking in rankings:
        for rank, doc_id in enumerate(ranking, start=1):
            scores[doc_id] = scores.get(doc_id, 0.0) + 1.0 / (k + rank)
    return sorted(scores.items(), key=lambda x: x[1], reverse=True)[:top_n]

vector_hits = ["規程_v3_第5条", "FAQ_012", "規程_v2_第5条", "手順書_04"]
bm25_hits   = ["型番一覧_A100", "規程_v3_第5条", "FAQ_012"]

for doc_id, score in rrf([vector_hits, bm25_hits]):
    print(f"{doc_id}\t{score:.5f}")
```

Python 3.9.6で実行した出力です。両方の検索に出た文書が上位に来て、全文検索だけが拾った型番一覧がベクトル検索の3位・4位より上に入ります。

```
規程_v3_第5条	0.03252
FAQ_012	0.03200
型番一覧_A100	0.01639
規程_v2_第5条	0.01587
手順書_04	0.01562
```

製品ごとの書き方と既定値の違いは[ハイブリッド検索の仕組みとRRF・製品別の実装](/tech/details/8014/)で比べています。

### リランキングとチャンクへの文脈付与

正解のチャンクが検索結果に入っているのに上位に来ない場合は、候補を多めに取ってから別のモデルで採点し直すリランキングを足します。もう1つの打ち手が、チャンク単体では意味が通らない問題への対処です。Anthropicが2024年9月に公開した[Contextual Retrieval](https://www.anthropic.com/research/contextual-retrieval)は、各チャンクに文書全体から見た説明文を付けてから索引に入れる方式で、複数の知識分野におけるGemini Text 004の埋め込み構成の平均では、上位20チャンクの検索失敗率（1−recall@20）が次のように下がりました。

| 構成                 | 検索失敗率 | 削減率 |
| ------------------ | ----- | --- |
| 通常の埋め込み            | 5.7%  | 基準  |
| 文脈付きの埋め込み          | 3.7%  | 35% |
| 文脈付きの埋め込み＋文脈付きBM25 | 2.9%  | 49% |
| 上記＋リランキング          | 1.9%  | 67% |

リランキングは検索時に追加の採点処理が入り、その処理時間と費用がかかります。Contextual Retrievalの文脈付与は索引作成時の前処理で、主に取り込み・更新時の処理時間と費用が増えます。データ整備とハイブリッド検索で直らない誤答が評価用の質問で確認できてから足します。リランカーの種類と選び方は[リランクモデルの種類と代表モデル](/tech/details/4413/)にまとめています。

## Agentic RAG・GraphRAGを採用する条件

通常のRAGで解けない質問の型が評価で特定できたときだけ、発展形を検討します。最初から持ち込むと、原因の切り分けが難しくなります。

Agentic RAGは、LLMが検索結果を見て足りないと判断すれば質問を作り直して再検索する反復型の構成です。複数の文書を突き合わせないと答えられない質問に向く一方、1回の回答で検索とLLM呼び出しが何度も走るため、応答時間と費用が読みにくくなります。単純な社内FAQには使いません。設計パターンは[Agentic RAGの設計パターンと実装の落とし穴](/tech/details/8079/)で解説しています。

GraphRAGは、文書から固有名詞と関係を抜き出してグラフにし、その要約を検索に使う方式です。Microsoftの[論文](https://arxiv.org/abs/2404.16130)が対象にしているのは、約100万トークン規模の文書群全体について「主なテーマは何か」を問うような全体把握の質問で、特定の規程の条文を引くような質問ではありません。OSS版は2026年10月公開のv3.3.0が最新です（2026年11月15日時点）。社内文書で使うときの設定は[GraphRAGをAzureで動かす方法](/tech/details/8326/)を参照してください。図表や画像を検索対象に広げる場合は[マルチモーダルRAG](/tech/details/15345/)が別の選択肢になります。

## PoCから本番運用へ：更新パイプラインと定期評価

検証では動いたRAGが本番で使われなくなる原因は、構築時ではなく運用開始後に出ます。文書は日々更新されるため、追加・変更・削除をベクトルデータベースへ反映する取り込みの仕組みが無いと、回答は公開時点の知識で止まります。削除した文書のチャンクが索引に残り、廃止済みの手順を答え続ける事故もここで起きます。取り込み系と回答系を分けた設計と再索引の判断は[RAGパイプラインの工程設計と再索引の実装判断](/tech/details/16473/)で扱っています。

もう1つは、構築時に作った評価用の質問を定期的に流し、検索と生成の指標の推移を記録することです。文書の追加や埋め込みモデルの更新で精度は気付かないうちに落ちるため、指標が下がったら原因を「誤答時に検索されたチャンクを見る」切り分けに戻して調べます。一創では、文書の前処理からRAG本体の構築、公開後の取り込みと精度改善までを[RAG構築支援](/service/ai/rag/)として受けており、既存RAGの精度改善からの相談にも対応しています。

## RAG構築に関するよくある質問

### RAG構築に必要な技術スタックは何ですか？

ベクトル検索を使う構成では、埋め込みモデル、ベクトルの格納・検索基盤、LLMを用意します。工程の接続にはLangChainやLlamaIndexを使う方法と、各APIを直接呼び出す方法があります。スキャン文書や表の多いPDFがあれば文書解析、型番や略語の検索が要るなら全文検索エンジンを加えます。最初の検証はマネージド型で済ませ、精度が頭打ちになってから部品を自前に置き換える進め方が手戻りを減らします。

### RAGの前処理では何をすればよいですか？

旧版と重複の除外、PDFや画像からの本文抽出、チャンク分割、メタデータ（版数・部署・権限・更新日）の付与です。日本語文書では、分割器の区切り文字に句点が含まれるかを確認し、全文検索には形態素解析や文字N-gramなど、対象文書に合うトークン化方式を設定します。

### ローカル環境でRAGを構築できますか？

できます。ローカルLLMと手元の埋め込みモデル、ローカルのベクトルデータベースで組めば、文書も質問も社外に出ません。ただし小型モデルは根拠の読み違いが起きやすいため、評価用の質問で商用APIと正答率を比べてから採用を決めます。

### RAGの精度を上げるには何から手を付ければよいですか？

誤答した質問で検索されたチャンクを読むことからです。チャンクが古い・矛盾しているならデータ整備、正解が検索に入っていないなら分割とハイブリッド検索、入っているのに順位が低いならリランキングの順に対処します。

### RAG構築にはどれくらいの期間がかかりますか？

構築期間は、文書の整備状態に加え、対象範囲、権限連携、評価基準によって変わります。まず対象文書を絞った検証構成で、取り込みから回答・評価までの作業量を確認します。文書の棚卸しから始める場合は、対象件数、版の確認、権限情報の整理、更新責任者の確定に必要な作業を見積もります。本番化では、取り込みの仕組みと定期評価の整備も別途見積もります。

## 関連記事

- [RAGとは？仕組みとLLM・ファインチューニングとの違い・企業での導入例を解説](/column/details/12919/)
- [LangChainでRAGを構築する手順｜v1.4系の2-Step・エージェント方式とPGVectorStore移行](/tech/details/2332/)
- [ハイブリッド検索とは？RAGでBM25とベクトル検索を統合する仕組み・RRF・製品別の実装【2026年版】](/tech/details/8014/)
- [RAG評価とは？検索と生成を分けて測る指標・Ragasでの実装・運用への組み込み【2026年版】](/tech/details/15935/)
- [RAGパイプラインとは？取り込み系と推論系に分ける工程設計と再索引の実装判断](/tech/details/16473/)

---

出典: [RAG構築の手順と技術スタック：データ整備から精度改善・本番運用までの進め方](<https://www.issoh.co.jp/column/details/12920/>)（株式会社一創）
