BroadRouter
Começar

Janela de contexto (context window)

Atualizado em

A janela de contexto é o número máximo de tokens com que um modelo de linguagem consegue trabalhar em uma única requisição. Ela abrange o prompt, o histórico da conversa, as definições de ferramentas, as imagens e a saída gerada, incluindo os tokens de raciocínio. O que não couber precisa ser cortado, resumido ou dividido em várias requisições.

Também chamado de: janela de contexto, tamanho do contexto, limite de contexto, limite de tokens, context window, context length, context size, token limit, context limit

A janela de contexto é a memória de trabalho de um modelo em uma requisição. Tudo o que o modelo precisa ver, e tudo o que ele escreve de volta, tem que caber nela.

Como funciona

A janela é medida em tokens. A documentação da Anthropic a descreve como “all the text a language model can reference when generating a response, including the response itself” (tradução: todo o texto que um modelo de linguagem pode consultar ao gerar uma resposta, incluindo a própria resposta). Isso inclui:

  • o system prompt e todas as mensagens, incluindo turnos anteriores;
  • definições de ferramentas e resultados de ferramentas;
  • documentos e imagens;
  • a saída, incluindo os tokens de raciocínio ocultos.

Ou seja, o orçamento é compartilhado. Com uma janela de 1.048.576 tokens, um prompt de 1.040.000 tokens deixa cerca de 8.000 tokens para raciocínio e resposta. Defina o max_tokens pensando nisso.

O modelo não se lembra de requisições anteriores. Um chat só parece contínuo porque o cliente reenvia o histórico a cada turno, então uma conversa longa vai enchendo a janela aos poucos.

Por que importa

  • Capacidade. Uma janela grande permite que uma única requisição contenha uma base de código inteira, um conjunto de contratos ou horas de transcrições, para que o modelo ligue fatos entre eles.
  • Custo. Em uma chave cobrada por token, cada token na janela é cobrado como entrada. O cache reduz o preço de prefixos repetidos, mas os tokens em cache continuam ocupando a janela.
  • Qualidade. Mais nem sempre é melhor. A Anthropic chama a perda de precisão em prompts muito longos de “context rot”. Escolha com cuidado o que enviar.
  • Latência. Com prompts longos, o primeiro token demora mais para aparecer.

Na BroadNet Inference

Modelo Janela de contexto
DeepSeek V4.1 Flash 1.048.576 tokens
GLM 5.3 1.048.576 tokens
Qwen3.8 27B 262.144 tokens
BroadNet Gemma 4 VL 26B 32.768 tokens

A janela cobre prompt e resposta juntos, e a BroadNet não corta o seu contexto. DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam antes de responder, então deixe espaço: uma janela cheia com um orçamento de saída pequeno retorna uma resposta vazia. Veja por que modelos de raciocínio retornam respostas vazias.

Os planos ilimitados incluem a janela completa de 1M de tokens no DeepSeek V4.1 Flash. Para saber quando tanto contexto supera a recuperação de documentos (retrieval), leia o guia da janela de contexto de 1M de tokens.

Erros comuns

  • Tratar a janela como tamanho da saída. Os limites de saída são definidos à parte, com max_tokens.
  • Reenviar o histórico completo para sempre. Resuma ou descarte turnos antigos antes que a janela encha.

Perguntas frequentes

O que acontece se o meu prompt for maior que a janela de contexto?

A API recusa a requisição, normalmente com um erro 400. A Anthropic, por exemplo, retorna "prompt is too long" (tradução: o prompt é longo demais). Alguns apps de chat cortam as mensagens antigas para você; a maioria das APIs não faz isso.

Uma janela de contexto maior é sempre melhor?

Não. Prompts longos custam mais e demoram mais para ser processados, e a Anthropic observa que a precisão e a capacidade de recuperar informações podem cair conforme a contagem de tokens cresce. Envie o que a tarefa precisa.

A BroadNet corta o meu contexto?

Não. A BroadNet Inference não corta o seu contexto. Se a requisição não couber, encurte-a você mesmo.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity