BroadRouter
开始使用

事实依据(grounding)

更新于

Grounding(事实依据)是把语言模型的输出与具体、可核查的信息来源关联起来的做法,例如提供的文档、搜索结果或数据库记录,并要求模型依据这些来源作答。有依据的回答可以追溯到来源,也更不容易编造事实。

又称: 接地、落地、基于来源生成、有据回答、事实锚定、grounding、grounded generation、source grounding、grounded answers

没有依据的模型凭记忆作答。有依据的模型根据眼前的材料作答。

工作原理

Google 的 Vertex AI 文档把 grounding 定义为 “the ability to connect model output to verifiable sources of information.”(译文:将模型输出与可核查的信息来源关联起来的能力。)来源可以是网页搜索、你自己的文档、地图服务或数据库。无论来源是什么,模式都分三步:

  1. 为问题获取证据:检索到的段落、整个文件、一张发票图片、SQL 查询出的行。
  2. 把证据放进提示词,并指示模型只根据它作答。
  3. 让回答可核查:附上引文、引用标记或指回来源的链接。

检索增强生成是最知名的方法。Lewis 等人把生成器与一个 “dense vector index of Wikipedia”(译文:维基百科的稠密向量索引)配对,通过神经检索器访问,报告称其回答比只依赖参数的模型更具体、更符合事实。构建这种索引要用到嵌入向量,通常还要用向量数据库。

一个最简单的有依据提示词:

Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."

<policy>Refunds are available within 14 days of purchase.</policy>

Question: Can I get a refund after three weeks?

有依据的回复会回答“不行”,并引用 14 天那句话。没有依据的模型则可能猜一个听起来很常见的 30 天政策。

对于长输入,Anthropic 建议先摘引文:文档超过 20,000 token 时,先让模型逐字提取引文,然后只根据这些引文作答。

为什么重要

  • 更少编造事实。 Google 把减少幻觉列为核心好处。对于涉及你自有数据的幻觉,grounding 是最直接的解决办法。
  • 信息新鲜。 模型权重在训练时就固定了。有依据的来源可以每天更新,无需重新训练。
  • 可审计。 带引文的说法可以由人或代码核查。
  • 成本取舍。 证据就是输入 token。检索五个段落比发送整本手册便宜,但可能漏掉关键段落。超长提示词还有中间迷失导致召回下降的风险。

在 BroadNet Inference 上

BroadNet 的文档没有列出嵌入端点、搜索工具或引用功能,所以检索要在你的代码中完成。API 提供的是容纳证据的空间:DeepSeek V4.1 Flash 和 GLM 5.3 的上下文窗口为 1,048,576 token,Qwen3.8 27B 为 262,144,文档条目注明支持图片或视觉的模型还能接收图片输入。这让“粘贴整份文档”成为一个现实的选项;长上下文与 RAG 对比比较了两者的成本,发票指南则以扫描图片为依据进行信息抽取。

常见问题

Grounding 和 RAG 是一回事吗?

RAG 是实现 grounding 的一种方式:检索段落并加入提示词。你也可以直接粘贴整份文档、附上一张图片,或加入实时搜索或数据库结果来提供依据。

Grounding 能保证回答正确吗?

不能。模型仍可能误读或忽略来源。要求它给出引文或引用标记,并检查每一条是否真的存在于来源中。

怎样让大模型只根据我的文档回答?

提供文档,告诉模型只能使用这些文档,允许它说答案不在其中,并要求每个说法都附上引文。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity