Um modelo que aceita um milhão de tokens não usa o milionésimo token tão bem quanto os primeiros mil. Essa diferença é o context rot.
Como funciona
O relatório da Chroma (Hong, Troynikov e Huber, julho de 2025) testou 18 modelos, entre eles GPT-4.1, Claude 4, Gemini 2.5 e Qwen3, em tarefas que continuavam igualmente difíceis enquanto a entrada crescia. A conclusão principal: “model performance consistently degrades with increasing input length” (tradução: o desempenho dos modelos piora de forma consistente com o aumento do tamanho da entrada).
Três efeitos se destacaram:
- Correspondências fracas sofrem mais. Quando a pergunta e o trecho relevante têm poucas palavras em comum, a precisão caía mais rápido com o aumento do tamanho.
- Distratores atrapalham. “Even a single distractor reduces performance relative to the baseline” (tradução: mesmo um único distrator reduz o desempenho em relação à linha de base), e quatro pioravam a situação. Um distrator é um trecho sobre o mesmo assunto que não responde à pergunta.
- A estrutura importa, de um jeito curioso. Texto de preenchimento coerente atrapalhava mais do que as mesmas frases embaralhadas. Os autores concluíram que “structural coherence consistently hurts model performance” (tradução: a coerência estrutural prejudica de forma consistente o desempenho do modelo).
Isso se apoia em trabalhos anteriores como o lost in the middle, que mostrou efeitos de posição. O context rot amplia a questão: o próprio tamanho, e não só a posição, custa precisão.
Por que isso importa
- Agentes. Um agente de programação ou de pesquisa acumula leituras de arquivos, logs e resultados antigos de ferramentas. Cada um é um distrator em potencial. A precisão pode cair muito antes de a janela de contexto encher.
- Custo e latência. Prompts mais longos também custam mais tokens de entrada e demoram mais para processar, então enxugar ajuda em três frentes ao mesmo tempo.
- Contexto longo vs. recuperação. Enviar um corpus inteiro é simples, mas o RAG, que envia só os chunks relevantes, deixa os distratores de fora.
Na BroadNet Inference
DeepSeek V4.1 Flash e GLM 5.3 da BroadNet aceitam até 1.048.576 tokens, e o Qwen3.8 27B até 262.144. A BroadNet não corta o seu contexto, então o que você envia é o que o modelo lê. Trate o limite como teto, não como meta. O guia da janela de contexto de 1M de tokens mostra quando uma janela cheia compensa, e gerenciamento de contexto para agentes de longa duração mostra padrões de resumo e poda. A calculadora de janela de contexto ajuda a dimensionar um prompt antes de enviá-lo.
Erros comuns
- Colar todos os arquivos “só por garantia”. Texto relacionado, mas irrelevante, é exatamente o que os testes de distratores da Chroma usaram.
- Testar com uma “agulha” que bate palavra por palavra com a pergunta. Perguntas reais raramente fazem isso.