BroadRouter

中间迷失(lost in the middle)

更新于

中间迷失是指语言模型的一种已观察到的倾向:相关信息出现在长输入的开头或结尾时,模型利用得最好;出现在中间时,利用得最差。这一名称来自 Liu 等人 2023 年的研究。

又称: 中间迷失、迷失在中间、中间遗忘、长上下文位置偏差、U 型曲线、lost in the middle、lost-in-the-middle effect、middle-of-context problem、long-context position bias、U-shaped context performance

把答案放在长提示词的中间,很多模型漏掉它的可能性比放在开头或结尾时更大。

原理

Liu 等人(2023)用两个任务测试了模型。在多文档问答中,模型拿到一个问题和若干检索出的文档,其中只有一篇包含答案。在键值检索中,模型要在一长串键值对中找到一个值。研究者改变了相关内容所在的位置。

他们的发现:性能 “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.”(译文:当相关信息出现在输入上下文的开头或结尾时往往最高;当模型必须获取位于长上下文中间的相关信息时则显著下降,即使是明确面向长上下文的模型也是如此。)按位置画出来,准确率呈 U 形。

实际含义很简单。很长的上下文窗口只说明模型能接收多少内容,并不说明它能均匀地利用这些内容。

为什么重要

  • RAG 的排序。 在检索增强生成中,检索器会给段落排序。如果把最好的一段放在 20 段的中间,排序就白做了。把它放在第一位,或者首尾各放一次。
  • 长文档。 询问 80 页文档第 40 页的某个条款,比询问第 1 页更难。请把模型引向相关章节,或先把它提取出来。
  • 智能体。 在很长的智能体历史中,早期指令和最新一轮会得到关注;运行中途的工具输出最容易被忽视。

中间迷失是一个更广泛现象的一部分,这个现象叫上下文腐化:准确率会随长度和干扰内容而下降,不只是受位置影响。

在 BroadNet Inference 上

BroadNet 的 DeepSeek V4.1 Flash 和 GLM 5.3 每个请求最多接受 1,048,576 个 token。这让位置变得更重要而不是更不重要,因为“中间”更长了。下面这种布局能同时兼顾位置效应和缓存输入:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

百万 token 上下文指南和为缓存设计提示词结构有更深入的介绍。

常见问题

较新的长上下文模型还会“中间迷失”吗?

原始研究发现,即使是专为长上下文设计的模型也会出现这种下降。后来的研究,例如 Chroma 2025 年的上下文腐化报告,仍然发现准确率随长度下降。请测试你自己的模型和提示词布局。

最重要的文档应该放在提示词的什么位置?

靠近开头或结尾,不要埋在中间。做 RAG 时,把排名最高的段落放在最前面,并在文档之后重述问题。

这和提示词缓存冲突吗?

可能会。缓存偏好稳定的前缀,而位置效应偏好把最相关的文本放在两端。把稳定的指令放在最前面,把问题和关键段落放在最后。

以 Markdown 格式阅读问 ChatGPT问 Claude问 Perplexity