BroadRouter

Lost in the middle (perdido no meio)

Atualizado em

Lost in the middle é a tendência observada de modelos de linguagem usarem melhor as informações relevantes quando elas aparecem perto do início ou do fim de uma entrada longa, e pior quando ficam no meio. O nome vem de um estudo de 2023 de Liu et al.

Também chamado de: lost in the middle, efeito lost in the middle, perdido no meio, viés de posição em contexto longo, informação no meio do contexto, lost-in-the-middle effect, middle-of-context problem, long-context position bias, U-shaped context performance

Coloque a resposta no meio de um prompt longo e muitos modelos ficam mais propensos a deixá-la passar do que se ela estivesse no início ou no fim.

Como funciona

Liu et al. (2023) testaram modelos em duas tarefas. Em perguntas e respostas com vários documentos, o modelo recebia uma pergunta e vários documentos recuperados, dos quais só um tinha a resposta. Na recuperação de chave-valor, ele precisava encontrar um valor em uma longa lista de pares. Os pesquisadores variaram a posição do item relevante.

A conclusão: o desempenho “is often highest when relevant information occurs at the beginning or end of the input context, and significantly degrades when models must access relevant information in the middle of long contexts, even for explicitly long-context models.” (tradução: costuma ser maior quando a informação relevante aparece no início ou no fim do contexto de entrada, e piora significativamente quando os modelos precisam acessar informação relevante no meio de contextos longos, mesmo em modelos feitos explicitamente para contexto longo). Plotada por posição, a precisão forma um U.

A leitura prática é simples. Uma janela de contexto longa diz quanto um modelo aceita, não com que uniformidade ele usa esse espaço.

Por que importa

  • Ordem no RAG. Na geração aumentada por recuperação, o retriever ranqueia os trechos. Se você coloca o melhor no meio de 20, desperdiça o ranking. Coloque-o primeiro, ou primeiro e por último.
  • Documentos longos. Perguntar sobre uma cláusula na página 40 de 80 é mais difícil do que perguntar sobre a página 1. Aponte a seção para o modelo ou extraia-a antes.
  • Agentes. Em um histórico longo de um agente, as instruções iniciais e o último turno recebem atenção; a saída de ferramentas no meio da execução é a parte com mais chance de ser subaproveitada.

Lost in the middle é uma parte de um efeito mais amplo chamado context rot, em que a precisão cai com o tamanho e com distratores, não só com a posição.

Na BroadNet Inference

O DeepSeek V4.1 Flash e o GLM 5.3 da BroadNet aceitam até 1.048.576 tokens por requisição. Isso torna a posição mais importante, não menos, porque há mais “meio”. Um layout que funciona tanto com os efeitos de posição quanto com a entrada em cache:

[stable system prompt and instructions]  -> cached prefix
[documents, best-ranked first]
[the question, restated in full]         -> end of prompt

Na ordem: system prompt e instruções estáveis como prefixo em cache, depois os documentos com o mais bem ranqueado primeiro, depois a pergunta repetida por inteiro no fim do prompt. O guia de contexto de 1M de tokens e estrutura do prompt para caching vão mais a fundo.

Perguntas frequentes

Modelos de contexto longo mais novos ainda se perdem no meio?

O estudo original encontrou a queda até em modelos feitos para contextos longos. Trabalhos posteriores, como o relatório de context rot da Chroma de 2025, ainda encontram a precisão caindo com o tamanho. Teste o seu modelo e o layout do seu prompt.

Onde colocar o documento mais importante em um prompt?

Perto do início ou do fim, não enterrado no meio. Em RAG, coloque o trecho mais bem ranqueado primeiro e repita a pergunta depois dos documentos.

Isso entra em conflito com o prompt caching?

Pode entrar. O caching favorece um prefixo estável, enquanto os efeitos de posição favorecem o texto mais relevante perto das bordas. Mantenha as instruções estáveis primeiro e coloque a pergunta e os trechos principais no fim.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity