没有依据的模型凭记忆作答。有依据的模型根据眼前的材料作答。
工作原理
Google 的 Vertex AI 文档把 grounding 定义为 “the ability to connect model output to verifiable sources of information.”(译文:将模型输出与可核查的信息来源关联起来的能力。)来源可以是网页搜索、你自己的文档、地图服务或数据库。无论来源是什么,模式都分三步:
- 为问题获取证据:检索到的段落、整个文件、一张发票图片、SQL 查询出的行。
- 把证据放进提示词,并指示模型只根据它作答。
- 让回答可核查:附上引文、引用标记或指回来源的链接。
检索增强生成是最知名的方法。Lewis 等人把生成器与一个 “dense vector index of Wikipedia”(译文:维基百科的稠密向量索引)配对,通过神经检索器访问,报告称其回答比只依赖参数的模型更具体、更符合事实。构建这种索引要用到嵌入向量,通常还要用向量数据库。
一个最简单的有依据提示词:
Answer using only the policy below. Quote the sentence that supports your answer.
If the policy does not answer the question, reply "Not in the policy."
<policy>Refunds are available within 14 days of purchase.</policy>
Question: Can I get a refund after three weeks?
有依据的回复会回答“不行”,并引用 14 天那句话。没有依据的模型则可能猜一个听起来很常见的 30 天政策。
对于长输入,Anthropic 建议先摘引文:文档超过 20,000 token 时,先让模型逐字提取引文,然后只根据这些引文作答。
为什么重要
- 更少编造事实。 Google 把减少幻觉列为核心好处。对于涉及你自有数据的幻觉,grounding 是最直接的解决办法。
- 信息新鲜。 模型权重在训练时就固定了。有依据的来源可以每天更新,无需重新训练。
- 可审计。 带引文的说法可以由人或代码核查。
- 成本取舍。 证据就是输入 token。检索五个段落比发送整本手册便宜,但可能漏掉关键段落。超长提示词还有中间迷失导致召回下降的风险。
在 BroadNet Inference 上
BroadNet 的文档没有列出嵌入端点、搜索工具或引用功能,所以检索要在你的代码中完成。API 提供的是容纳证据的空间:DeepSeek V4.1 Flash 和 GLM 5.3 的上下文窗口为 1,048,576 token,Qwen3.8 27B 为 262,144,文档条目注明支持图片或视觉的模型还能接收图片输入。这让“粘贴整份文档”成为一个现实的选项;长上下文与 RAG 对比比较了两者的成本,发票指南则以扫描图片为依据进行信息抽取。