BroadRouter
始める

RAG(検索拡張生成)

更新日

RAG(検索拡張生成)とは、アプリケーションがまず検索エンジンやベクトルインデックスなどの外部ストアから質問に関連する文章を取り出し、それをプロンプトに加えて、言語モデルが記憶だけでなくそのテキストをもとに回答できるようにする手法です。

別名: 検索拡張生成、検索強化生成、RAG パイプライン、retrieval-augmented generation、retrieval augmented generation、RAG pipeline、retrieval-augmented LLM

RAG は、モデルに教科書を開いたまま答えさせる方法です。回答の前に、コードが関連するページを探してプロンプトに入れます。

しくみ

この用語は Lewis ら(2020)に由来します。彼らは生成モデル(「parametric memory」、パラメトリックな記憶)と、ニューラル検索器でアクセスする「a dense vector index of Wikipedia」(訳:Wikipedia の密なベクトルインデックス。「non-parametric memory」、ノンパラメトリックな記憶)を組み合わせ、オープンドメインの質問応答で、重みだけに頼るモデルより良い結果を報告しました。

LLM API を使う現在の RAG パイプラインは、たいてい次のようになります。

  1. インデックス作成。 ドキュメントをチャンクに分割し、それぞれを埋め込みに変換してベクトルデータベースに保存します。キーワードのインデックスと併用することもよくあります。
  2. 検索。 ユーザーの質問を埋め込みに変換し、一致度の高いチャンクを 5〜20 件ほど取り出します。
  3. 生成。 そのチャンクを、それだけをもとに答えて出典を示すよう指示してプロンプトに入れ、チャットモデルに送ります。

モデル自身が検索することはありません。上限を決めるのは検索の品質です。正しい箇所が取り出されなければ、モデルはそれを使えません。

なぜ重要か

  • 鮮度。 モデルの重みは学習の締め切り時点で止まっています。RAG を使えば、今日の価格表や規程をもとに回答できます。
  • コスト。 10 個のチャンクを送るほうが、質問のたびにコーパス全体を送るよりはるかに少ない入力トークンで済みます。
  • 追跡可能性。 回答に元の箇所を引用させられるので、グラウンディングに役立ち、ハルシネーションにも気づきやすくなります。
  • 順序が重要です。 モデルは長いプロンプトの途中より、最初と最後をうまく使います。最も良い箇所を先頭に置いてください。lost in the middle を参照してください。

BroadNet Inference の場合

BroadNet が担うのは生成のステップです。ドキュメントには埋め込みのエンドポイントが記載されていないので、検索器には別の埋め込みモデルかキーワード検索が必要です。DeepSeek V4.1 Flash と GLM 5.3 は最大 1,048,576 トークンのコンテキストを受け付けるので、多めに取り出す検索(小さなコーパスなら検索なし)も現実的です。長いコンテキストと RAG の比較の記事ではコストと再現率の両面で比べており、アラビア語の RAG 検索ではアラビア語の正規化とハイブリッド検索を扱っています。

よくある間違い

  • 検索器に原因があるのにモデルを評価してしまうこと。回答ごとにどのチャンクが取り出されたかをログに残してください。
  • 表や文を途中で切ってしまうチャンク分割。
  • 「見つかりません」と答えるよう指示していないこと。指示がないと、モデルは記憶で隙間を埋めます。

よくある質問

RAG はファインチューニングと同じですか?

いいえ。RAG はリクエスト時にドキュメントをプロンプトに加えるだけで、モデル自体は何も変えません。ファインチューニングはモデルの重みを変えます。RAG のほうが更新が簡単で、再学習ではなくドキュメントの再インデックスで済みます。

RAG にはベクトルデータベースが必要ですか?

必ずしも必要ありません。キーワード検索、SQL クエリ、小さなインメモリのインデックスも検索器として使えます。ベクトルデータベースが役立つのは、ドキュメントが多く、意味での一致が必要な場合です。

100 万トークンのコンテキストウィンドウがあれば RAG は不要ですか?

場合によります。コーパス全体が収まり、キャッシュを使って頻繁に問い合わせるなら、すべて送ることもできます。大きなコーパスや頻繁に変わるコーパスでは、質問あたりで見ると検索のほうが今も安く、速くなります。

Markdown で読むChatGPT に聞くClaude に聞くPerplexity に聞く