グラウンディングされていないモデルは記憶で答えます。グラウンディングされたモデルは、目の前の資料を見て答えます。
仕組み
Google の Vertex AI のドキュメントは、グラウンディングを “the ability to connect model output to verifiable sources of information.”(訳:モデルの出力を検証可能な情報源に結びつける能力。)と定義しています。情報源は、ウェブ検索、自社の文書、地図サービス、データベースなどです。情報源が何であっても、パターンは 3 つの段階でできています。
- 質問の根拠を集める:検索した段落、ファイル全体、請求書の画像、SQL で取得した行など。
- 根拠をプロンプトに入れ、それだけに基づいて答えるよう指示する。
- 回答を検証できるようにする:引用、出典マーカー、情報源へのリンクを付ける。
最もよく知られた方法は検索拡張生成(RAG)です。Lewis らは生成モデルを、ニューラル検索器でアクセスする “dense vector index of Wikipedia”(訳:Wikipedia の密ベクトルインデックス)と組み合わせ、パラメーターだけで答えるモデルより具体的で事実に即した回答が得られたと報告しています。このインデックスを作るには埋め込みを使い、多くの場合ベクトルデータベースも使います。
最小限のグラウンディング用プロンプトの例です。
Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."
<policy>Refunds are available within 14 days of purchase.</policy>
Question: Can I get a refund after three weeks?
グラウンディングされた返答は「できない」と答え、14 日の文を引用します。グラウンディングされていないモデルは、よくありそうな 30 日のポリシーを推測で答えるかもしれません。
長い入力について、Anthropic は先に引用を抜き出す手順を勧めています。20,000 トークンを超える文書では、まずモデルに一字一句そのままの引用を抜き出させ、その引用だけに基づいて答えさせます。
なぜ重要か
- 事実の捏造が減る。 Google はハルシネーションの減少を主な利点に挙げています。自社データに関するハルシネーションには、グラウンディングが最も直接的な対策です。
- 新しい情報。 モデルの重みは学習時点で固定されます。グラウンディングに使う情報源は、再学習なしで毎日でも更新できます。
- 監査できる。 引用付きの主張は、人間でもコードでも確認できます。
- コストとのトレードオフ。 根拠は入力トークンです。5 つの段落を検索するほうがマニュアル全体を送るより安く済みますが、肝心の段落を取りこぼすかもしれません。非常に長いプロンプトでは、lost in the middle による想起の低下のおそれもあります。
BroadNet Inference では
BroadNet のドキュメントには、埋め込みエンドポイント、検索ツール、出典機能の記載がないため、検索はお使いのコードで行います。API が提供するのは根拠を入れる余地です。DeepSeek V4.1 Flash と GLM 5.3 は 1,048,576 トークン、Qwen3.8 27B は 262,144 トークンのコンテキストウィンドウを持ち、ドキュメントの項目に画像またはビジョンとあるモデルは画像も入力できます。そのため「文書を丸ごと貼り付ける」のも現実的な選択肢です。長いコンテキストと RAG の比較でそれぞれのコストを比べており、請求書ガイドではスキャン画像に基づいて情報を抽出しています。