---
title: "ロングコンテキスト vs RAG：コスト・レイテンシ・再現率 | BroadRouter"
description: "100 万トークンのコンテキストウィンドウがベクトルデータベースの代わりになるのはどんなときか、RAG がまだ勝つのはどんなときかを、クエリ単価、レイテンシ、再現率、保守の手間で比べます。"
url: https://broadrouter.com/ja/blog/long-context-vs-rag/
lang: ja
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

このページは英語の原文を AI の支援を受けて翻訳したものです。[英語の原文を読む](https://broadrouter.com/blog/long-context-vs-rag/)（2026-11-16 更新）。

# ロングコンテキストか RAG か：100 万トークンがベクトル DB に代わるとき

BroadNet Inference チーム · 約 5 分で読めます · 公開日 2026-11-14 · 更新日 2026-11-16

コーパスがウィンドウに収まり、更新がまれで、質問が全体の多くの箇所にまたがるなら、ロングコンテキストで RAG を置き換えられます。再クエリはキャッシュで安くなります。ウィンドウ超過、頻繁な更新、ユーザー別の権限、1〜2 秒での応答が必要なら RAG です。RAG で検索しロングコンテキストで推論する構成も一般的です。

## 要点

-   最初のふるいはコーパスのサイズです。回答の余地を残してウィンドウに収まらないなら、何らかの検索が必要です。
-   ロングコンテキストはクエリごとにコーパス全体を送り、RAG は数千トークンを送ります。プレフィックスキャッシュでコスト差が縮まるのは、コーパスが安定している場合だけです。
-   プロンプトが長いと最初のトークンまでの時間が延びます。RAG はプロンプトを短く、速く保ちます。
-   ロングコンテキストの再現率は完璧ではありません。モデルはプロンプトの冒頭と末尾にある事実を、中ほどの事実より確実に見つけます。
-   RAG は違う形で失敗します。検索が該当箇所を取りこぼすと、モデルはそれを目にしません。両方を自分の質問で測ってください。

**このページの内容**

1.  ロングコンテキストが RAG に代わるのはどんなときですか？
2.  クエリあたりのコストはどう比べますか？
3.  レイテンシはどう比べますか？
4.  再現率が高いのはどちらですか？
5.  保守の手間はどうですか？
6.  多くのチームが最終的にたどり着くハイブリッド
7.  BroadNet Inference が向いている場面

[100 万トークンのコンテキストウィンドウのガイド](https://broadrouter.com/ja/blog/million-token-context-window-guide/)では、100 万トークンに何が入るか、1 回のリクエストにいくらかかるかを解説しました。この記事は、どのアーキテクチャレビューでも出てくる、より絞った問いに答えます。\*\*[ベクトルデータベース](https://broadrouter.com/ja/glossary/vector-database/)と、それを中心とした [RAG](https://broadrouter.com/ja/glossary/rag/) のパイプラインを削除してよいのか？\*\*場合によってはイエスです。コスト、レイテンシ、再現率、保守の手間という 4 つの軸で判断する方法を説明します。

## ロングコンテキストが RAG に代わるのはどんなときですか？

次の 4 つがすべて当てはまる必要があります。

1.  \*\*コーパスが収まる。\*\*プロンプト、回答、推論の合計が、余裕を残して[コンテキストウィンドウ](https://broadrouter.com/ja/glossary/context-window/)に収まること。[DeepSeek V4.1 Flash](https://broadrouter.com/ja/models/deepseek-v4.1-flash/) と [GLM 5.3](https://broadrouter.com/ja/models/glm-5.3/) のウィンドウは 1,048,576 トークンです（[2 モデルの比較](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)）。文書が収まるかは[コンテキストウィンドウ計算ツール](https://broadrouter.com/tools/context-window-calculator/)で確認できます。
2.  \*\*めったに変わらない。\*\*月に一度更新されるマニュアルなら問題ありません。毎分更新されるチケットキューは向きません。
3.  \*\*全員がすべてを見てよい。\*\*共有のコーパスが 1 つで、ユーザーごとに権限で絞り込む必要がないこと。
4.  **質問がコーパス全体にまたがる。**「新しいポリシーと矛盾する契約はどれか？」にはすべてが見えている必要がありますが、「返金の受付期間は？」には必要ありません。

1 つでも当てはまらなければ、検索を残すか、ハイブリッドにしてください。

## クエリあたりのコストはどう比べますか？

40 万トークンの文書セットと、500 トークンの回答になる質問を例にします。RAG は、たとえば 8,000 トークン分のチャンクを検索するとします。DeepSeek V4.1 Flash を[従量課金](https://broadrouter.com/ja/glossary/pay-as-you-go/)キーで使う場合は次のとおりです。

| 方法 | クエリあたりの入力 | クエリあたりの入力コスト |
| --- | --- | --- |
| ロングコンテキスト、初回クエリ | 新規 400,000 | 0.4 × $0.175 |
| ロングコンテキスト、繰り返しクエリ、プレフィックスはキャッシュ済み | キャッシュ約 400,000 | 約 0.4 × $0.0055 |
| RAG | 新規 8,000 | 0.008 × $0.175 |

出力はどの場合も同じで、500 トークン × 100 万トークンあたり $0.52 です。（各係数は「100 万トークン単位の量 × 100 万トークンあたりの料金」です。）

ここから 3 つのことがわかります。キャッシュがなければ、ロングコンテキストは RAG の 50 倍のトークンを送るので、クエリあたりの入力コストも 50 倍です。コーパスがキャッシュされれば、差は大きく縮まります。このモデルのキャッシュ入力は新規入力の数パーセントの料金だからです。ただし、キャッシュが効くのはプレフィックスがバイト単位で同一の間だけなので、コーパスは先頭に置いて安定させる必要があります。[キャッシュ向けのプロンプト構成](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)を参照してください。RAG には、この表に含まれないコストもあります。コーパスの埋め込み、ベクトルストアの運用、チャンク分割を調整するエンジニアの時間です。埋め込みの部分は[埋め込みコスト計算ツール](https://broadrouter.com/tools/embedding-cost-calculator/)で見積もれます。[RAG チャンク計算ツール](https://broadrouter.com/tools/rag-chunking-calculator/)は、チャンク、クエリあたりのトークン数、月々の LLM の請求というクエリ側を見積もります。

自分のキャッシュ率がいくらの価値になるかは、[プロンプトキャッシュ計算ツール](https://broadrouter.com/tools/prompt-caching-calculator/)で確かめてください。定額プランなら入力の列そのものがなくなります。Full Moon はセッションあたり月 $60 でトークンの計量がないので、40 万トークンのプロンプトも短いプロンプトも同じコストです。

## レイテンシはどう比べますか？

モデルは最初のトークンを書く前に、プロンプト全体を読みます。最初のトークンまでの時間はプロンプトの長さとともに延び、数十万トークンのプロンプトは、8,000 トークンのものより書き始めるまでに目に見えて時間がかかります。多くの推論基盤では、キャッシュされたプレフィックスが助けになります。ベクトル検索自体が加える時間はたいてい小さく、生成に比べれば検索の呼び出しはわずかです。

ですから、1〜2 秒で返答しなければならない対話型アシスタントなら、RAG のほうが無難な標準です。深い質問を 1 つ投げて答えを待つアナリストなら、ロングコンテキストで問題ありません。送る予定のサイズで、[自分のプロンプトの TTFT を測ってください](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)。

## 再現率が高いのはどちらですか？

どちらも完璧ではなく、失敗の仕方が違います。

**ロングコンテキスト**は、中ほどの事実を取りこぼすことがあります（[lost in the middle](https://broadrouter.com/ja/glossary/lost-in-the-middle/)）。_Lost in the Middle_ の研究では、情報が入力の冒頭か末尾にあるときにモデルが最もよく活用し、その間にあるときは劣ることがわかりました。RULER ベンチマークでは、単純な「干し草の山から針を探す」テストでほぼ満点のモデルでも、入力が長くなるとより難しいタスクで性能が落ち、32K トークン以上をうたうモデルのうち “only half of them”（訳：半数だけ）が 32K で満足のいく性能を保ったとしています。新しいモデルほど良くなっていますが、公称のウィンドウと、品質が保たれるウィンドウは同じではありません。

**RAG** は、モデルが動き出す前に失敗します。検索器が該当箇所を取りこぼせば、モデルはそれを目にしません。多くの箇所を必要とする質問や、原文と違う言葉で聞かれた質問は、典型的な取りこぼしです。

| 失敗のパターン | ロングコンテキスト | RAG |
| --- | --- | --- |
| 事実がプロンプトの中ほどに埋もれる | 長さとともにリスクが増す | 低い。プロンプトが短い |
| 答えに散らばった 20 箇所が必要 | 強い | top-k を大きくしない限り弱い |
| 質問の言葉が原文と違う | 強い | 埋め込みとリランキング次第 |
| コーパスがウィンドウより大きい | 不可能 | 強い |

ロングコンテキスト側の対策は 2 つです。質問は文書の後ろ、最後に置くこと。そして、根拠にした行を引用するようモデルに求めることです。

## 保守の手間はどうですか？

RAG はシステムです。チャンク分割、埋め込み、インデックス、変更時の再インデックス、権限フィルター、検索品質の評価があります。ロングコンテキストはプロンプトです。ファイルにわかりやすいラベルを付けて連結し、送るだけです。コーパスが収まる小さなチームなら、パイプラインを削除すれば実際の作業が減ります。大きく、変化し、権限管理が必要なコーパスなら、パイプラインはロングコンテキストにはできない仕事をしています。

## 多くのチームが最終的にたどり着くハイブリッド

1.  多めに検索します。5 チャンクではなく、文書単位で、最大数十万[トークン](https://broadrouter.com/ja/glossary/token/)まで。
2.  スコア順ではなく文書 ID 順など、安定した順序で並べ、関連する質問どうしでプレフィックスがキャッシュされるようにします。
3.  質問を最後に置き、ロングコンテキストモデルに送ります。
4.  文書ラベルへの引用を求め、抜き取りで確認します。

こうすれば、巨大なコーパスを扱える RAG の守備範囲と、多くの情報源をまたいで推論できるロングコンテキストの力を両立できます。惜しくも上位に入らなかった文書もプロンプトに残るので、検索器の精度が多少低くても許容できます。

## BroadNet Inference が向いている場面

BroadNet Inference は 100 万トークンのモデルを 2 つ、DeepSeek V4.1 Flash と GLM 5.3 を提供しており、コンテキストを削らないので、大きすぎるリクエストは文書を黙って落とすのではなく失敗します。トークン課金のキーでは、キャッシュ入力は安いキャッシュ料金で課金され、無制限プランでは DeepSeek V4.1 Flash のトークン計量そのものがなくなります。API リファレンスに記載されているのは chat completions と文字起こしで、埋め込みのエンドポイントやベクトルストアはないため、RAG の部分は自分で用意してください。ウィンドウには[推論トークン](https://broadrouter.com/ja/glossary/reasoning-tokens/)の余地も残してください。理由は[推論のガイド](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)で説明しています。料金は[料金ページ](https://broadrouter.com/ja/pricing/)にあります。

関連する無料ツール（英語）

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[無料ツール（英語）](https://broadrouter.com/tools/)

## この記事の用語

[トークン（token）](https://broadrouter.com/ja/glossary/token/)

トークンとは、言語モデルが読み書きするテキストの単位です。モデルのトークナイザーが作る単語、単語の一部、句読点、バイト列のいずれかにあたります。LLM API は利用量をトークンで数え、上限を設け、通常はトークン単位で課金します。

[エンベディング（埋め込み、embeddings）](https://broadrouter.com/ja/glossary/embeddings/)

エンベディング（埋め込み）とは、テキストや画像などの入力を表すためにモデルが出力する浮動小数点数のリスト（ベクトル）です。意味の近い入力ほどベクトルも近いので、その距離で検索結果の順位付け、文書の分類、関連項目の発見ができます。

[Lost in the Middle（中間の情報の見落とし）](https://broadrouter.com/ja/glossary/lost-in-the-middle/)

Lost in the Middle とは、言語モデルが長い入力の中で、関連情報が冒頭や末尾にあるときに最もよく活用し、中間にあるときに最も活用できないという傾向です。Liu らの 2023 年の研究で名付けられました。

[ツール呼び出し（Function Calling、tool calling）](https://broadrouter.com/ja/glossary/tool-calling/)

ツール呼び出し（Function Calling とも呼ばれます）とは、開発者が定義した関数の実行を求める構造化されたリクエストを、モデルが JSON の引数付きで返す LLM API の機能です。関数を実行して結果を返すのはアプリケーションで、モデル自身がコードを実行することはありません。

[キャッシュ入力トークン（cached input tokens）](https://broadrouter.com/ja/glossary/cached-input-tokens/)

キャッシュ入力トークンとは、LLM プロバイダーが直前に処理し、再計算せずにキャッシュから再利用できるプロンプトのトークンです。通常はシステムプロンプトやドキュメントなど繰り返し送るプレフィックスで、新しい入力トークンより安い単価で課金されます。

[ベクトルデータベース（vector database）](https://broadrouter.com/ja/glossary/vector-database/)

ベクトルデータベースとは、エンベディングのベクトルを多くの場合元のテキストやメタデータとともに保存し、最近傍検索に答えるデータストアです。クエリベクトルに最も似た保存済みベクトルを、主にコサイン距離、ユークリッド距離、内積で返します。

[従量課金（pay-as-you-go）](https://broadrouter.com/ja/glossary/pay-as-you-go/)

従量課金とは、使った分だけを支払う料金体系です。トークン、リクエスト、音声の分数などの単位で計測され、サブスクリプションや最低利用額はありません。多くの LLM API はこの方式で、前払いの残高か定期的な請求書から支払います。

[TTFT（最初のトークンまでの時間）](https://broadrouter.com/ja/glossary/time-to-first-token/)

TTFT（最初のトークンまでの時間）とは、言語モデルにリクエストを送ってから最初の出力トークンが届くまでの時間です。ネットワーク、サーバーでの待ち行列、モデルがプロンプト全体を読むプリフィルを含むため、プロンプトの長さと負荷に応じて伸びます。

## よくある質問

### モデルが 100 万トークンのコンテキストを持つ今、RAG はもう不要ですか？

不要ではありません。コーパス全体が収まり、安定しているなら、ロングコンテキストで検索は要らなくなります。しかし企業のナレッジベースの多くは 100 万トークンより大きく、毎日変わり、権限管理も必要です。そこはまだ RAG の領分です。

### ロングコンテキストは RAG より正確ですか？

質問によります。答えに多くの箇所を組み合わせる必要があるなら、ロングコンテキストのほうが得意です。巨大なコーパスから 1 つの事実を探すなら、プロンプトが短くモデルが集中できる分、RAG のほうがよいこともあります。実際の質問で両方を試してください。

### 100 万トークンのコンテキストウィンドウには何単語入りますか？

BroadRouter のトークナイザーデータセットで 5 つのトークナイザーにわたって測った「1,000 単語あたり 1,290 トークン」で計算すると、DeepSeek V4.1 Flash の 1,048,576 トークンのウィンドウには、平易な英語の文章で約 810,000 単語が入ります。技術的な英語、コード、表、アラビア語は 1 単語あたりのトークン数が多いので、入る量は少なくなります。回答と推論の余地も残してください。

### RAG とロングコンテキストは組み合わせられますか？

できます。多くの場合、それが最善の選択肢です。たとえば候補文書を 10 万〜20 万トークン分と多めに検索し、上位 5 チャンクだけでなく、そのすべてを踏まえてロングコンテキストモデルに推論させます。

## 続けて読む

-   [100 万トークンのコンテキストウィンドウが役立つとき（役立たないとき）](https://broadrouter.com/ja/blog/million-token-context-window-guide/)
-   [プレフィックスがキャッシュされるプロンプトの組み立て方](https://broadrouter.com/ja/blog/prompt-structure-for-caching/)
-   [キャッシュ入力トークンとは：LLM API の請求額を下げる方法](https://broadrouter.com/ja/blog/cached-input-tokens-explained/)
-   [LLM のレイテンシ：TTFT、トークン/秒、エンドツーエンドの違い](https://broadrouter.com/ja/blog/llm-latency-ttft-throughput/)
-   [BroadNet の GPU ハードウェアとサービング方式（BroadNet の説明による）](https://broadrouter.com/ja/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM API のレスポンスをキャッシュしてコスト削減：Python の完全一致キャッシュ](https://broadrouter.com/ja/blog/cache-llm-responses-cut-cost/)
-   [ガイド：推論モデルが空の回答を返す理由](https://broadrouter.com/ja/guides/reasoning-tokens-empty-response/)

実際のワークロードで試してください。新規アカウントには US$5 の初回クレジットがあり、Gemma、文字起こし に使えます。DeepSeek、GLM、Qwen3.8 はチャージが必要です。

[始める](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-long-context-vs-rag&utm_content=page-cta) ·

**出典**

-   [Liu ほか「Lost in the Middle：言語モデルはロングコンテキストをどう使うか」（arXiv 2307.03172）](https://arxiv.org/abs/2307.03172)
-   [Hsieh ほか「RULER：ロングコンテキスト言語モデルの本当のコンテキストサイズは？」（arXiv 2404.06654）](https://arxiv.org/abs/2404.06654)
-   [BroadNet Inference の機械可読な料金とコンテキスト長（pricing.json）（英語）](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-long-context-vs-rag&utm_content=sources)
-   [BroadNet Inference API リファレンス（英語）](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=ja-blog-long-context-vs-rag&utm_content=sources)
