A janela de contexto é a memória de trabalho de um modelo em uma requisição. Tudo o que o modelo precisa ver, e tudo o que ele escreve de volta, tem que caber nela.
Como funciona
A janela é medida em tokens. A documentação da Anthropic a descreve como “all the text a language model can reference when generating a response, including the response itself” (tradução: todo o texto que um modelo de linguagem pode consultar ao gerar uma resposta, incluindo a própria resposta). Isso inclui:
- o system prompt e todas as mensagens, incluindo turnos anteriores;
- definições de ferramentas e resultados de ferramentas;
- documentos e imagens;
- a saída, incluindo os tokens de raciocínio ocultos.
Ou seja, o orçamento é compartilhado. Com uma janela de 1.048.576 tokens, um prompt de 1.040.000 tokens deixa cerca de 8.000 tokens para raciocínio e resposta. Defina o max_tokens pensando nisso.
O modelo não se lembra de requisições anteriores. Um chat só parece contínuo porque o cliente reenvia o histórico a cada turno, então uma conversa longa vai enchendo a janela aos poucos.
Por que importa
- Capacidade. Uma janela grande permite que uma única requisição contenha uma base de código inteira, um conjunto de contratos ou horas de transcrições, para que o modelo ligue fatos entre eles.
- Custo. Em uma chave cobrada por token, cada token na janela é cobrado como entrada. O cache reduz o preço de prefixos repetidos, mas os tokens em cache continuam ocupando a janela.
- Qualidade. Mais nem sempre é melhor. A Anthropic chama a perda de precisão em prompts muito longos de “context rot”. Escolha com cuidado o que enviar.
- Latência. Com prompts longos, o primeiro token demora mais para aparecer.
Na BroadNet Inference
| Modelo | Janela de contexto |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 tokens |
| GLM 5.3 | 1.048.576 tokens |
| Qwen3.8 27B | 262.144 tokens |
| BroadNet Gemma 4 VL 26B | 32.768 tokens |
A janela cobre prompt e resposta juntos, e a BroadNet não corta o seu contexto. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, então deixe espaço: uma janela cheia com um orçamento de saída pequeno retorna uma resposta vazia. Veja por que modelos de raciocínio retornam respostas vazias.
Os planos ilimitados incluem a janela completa de 1M de tokens no DeepSeek V4.1 Flash. Para saber quando tanto contexto supera a recuperação de documentos (retrieval), leia o guia da janela de contexto de 1M de tokens.
Erros comuns
- Tratar a janela como tamanho da saída. Os limites de saída são definidos à parte, com
max_tokens. - Reenviar o histórico completo para sempre. Resuma ou descarte turnos antigos antes que a janela encha.