RAG は、モデルに教科書を開いたまま答えさせる方法です。回答の前に、コードが関連するページを探してプロンプトに入れます。
しくみ
この用語は Lewis ら(2020)に由来します。彼らは生成モデル(「parametric memory」、パラメトリックな記憶)と、ニューラル検索器でアクセスする「a dense vector index of Wikipedia」(訳:Wikipedia の密なベクトルインデックス。「non-parametric memory」、ノンパラメトリックな記憶)を組み合わせ、オープンドメインの質問応答で、重みだけに頼るモデルより良い結果を報告しました。
LLM API を使う現在の RAG パイプラインは、たいてい次のようになります。
- インデックス作成。 ドキュメントをチャンクに分割し、それぞれを埋め込みに変換してベクトルデータベースに保存します。キーワードのインデックスと併用することもよくあります。
- 検索。 ユーザーの質問を埋め込みに変換し、一致度の高いチャンクを 5〜20 件ほど取り出します。
- 生成。 そのチャンクを、それだけをもとに答えて出典を示すよう指示してプロンプトに入れ、チャットモデルに送ります。
モデル自身が検索することはありません。上限を決めるのは検索の品質です。正しい箇所が取り出されなければ、モデルはそれを使えません。
なぜ重要か
- 鮮度。 モデルの重みは学習の締め切り時点で止まっています。RAG を使えば、今日の価格表や規程をもとに回答できます。
- コスト。 10 個のチャンクを送るほうが、質問のたびにコーパス全体を送るよりはるかに少ない入力トークンで済みます。
- 追跡可能性。 回答に元の箇所を引用させられるので、グラウンディングに役立ち、ハルシネーションにも気づきやすくなります。
- 順序が重要です。 モデルは長いプロンプトの途中より、最初と最後をうまく使います。最も良い箇所を先頭に置いてください。lost in the middle を参照してください。
BroadNet Inference の場合
BroadNet が担うのは生成のステップです。ドキュメントには埋め込みのエンドポイントが記載されていないので、検索器には別の埋め込みモデルかキーワード検索が必要です。DeepSeek V4.1 Flash と GLM 5.3 は最大 1,048,576 トークンのコンテキストを受け付けるので、多めに取り出す検索(小さなコーパスなら検索なし)も現実的です。長いコンテキストと RAG の比較の記事ではコストと再現率の両面で比べており、アラビア語の RAG 検索ではアラビア語の正規化とハイブリッド検索を扱っています。
よくある間違い
- 検索器に原因があるのにモデルを評価してしまうこと。回答ごとにどのチャンクが取り出されたかをログに残してください。
- 表や文を途中で切ってしまうチャンク分割。
- 「見つかりません」と答えるよう指示していないこと。指示がないと、モデルは記憶で隙間を埋めます。