As janelas de contexto cresceram de alguns milhares de tokens para mais de um milhão. O DeepSeek V4.1 Flash e o GLM 5.3 na BroadNet Inference aceitam 1.048.576 tokens por requisição, prompt e resposta juntos. Isso muda o que você pode construir, mas não deixa todo prompt melhor.
O que cabe em um milhão de tokens?
Como referência aproximada: 1.000 palavras de prosa em inglês deram cerca de 1,290 tokens, na média de cinco tokenizers, no nosso conjunto de dados de eficiência de tokenizers, então um milhão de tokens são mais ou menos 810,000 palavras de prosa simples:
| Conteúdo | Mais ou menos |
|---|---|
| Uma codebase de porte médio (dezenas de milhares de linhas) | Cabe, com folga |
| Vários contratos longos com anexos | Cabem |
| Um dia de transcrições de reuniões | Cabe |
| Um monorepo grande com dependências | Muitas vezes não; selecione diretórios |
A contagem de tokens depende do idioma e do conteúdo. Código e texto em árabe costumam usar mais tokens por caractere do que prosa em inglês. Meça com o bloco usage de uma requisição real em vez de estimar, ou confira uma amostra na calculadora de janela de contexto.
Quais modelos da BroadNet têm janela de contexto de 1M de tokens?
| Modelo | Janela de contexto | Entrada | Saída | Imagens |
|---|---|---|---|---|
| DeepSeek V4.1 Flash | 1.048.576 | $0.175 | $0.52 | Sim |
| GLM 5.3 | 1.048.576 | $0.78 | $3.46 | Não |
| Qwen3.8 27B | 262.144 | $0.175 | $2.17 | Sim |
| BroadNet Gemma 4 VL 26B | 32.768 | $0.10 | $0.22 | Sim |
Preços por 1M de tokens. O GLM 5.3 acrescenta tool calling e saída estruturada na mesma janela de 1M.
Quando vale a pena uma janela de 1M de tokens?
- Raciocínio entre arquivos. “Por que este teste falha?” muitas vezes depende de cinco arquivos que ninguém pensaria em recuperar juntos.
- Revisão de documentos inteiros. Encontrar conflitos entre a cláusula 4 e o anexo B exige os dois à vista.
- Análise pontual. Para uma pergunta que você vai fazer uma vez só, montar um índice de recuperação dá mais trabalho do que economiza.
- Agentes. Um subagente que consegue ler o módulo inteiro chuta errado menos vezes. Veja rodar agentes em paralelo.
Quando a recuperação ainda é a melhor escolha?
A recuperação vence em muitas buscas pequenas em um acervo muito maior que qualquer janela, em conteúdo que muda a cada minuto e em respostas interativas rápidas, em que ler um prompt enorme antes acrescenta atraso. Muitos sistemas em produção fazem as duas coisas: recuperam os 200.000 tokens mais relevantes e deixam um modelo de contexto longo raciocinar sobre todos eles. A decisão completa, com custo por consulta, latência e recall lado a lado, está em contexto longo vs RAG.
O modelo usa mesmo a janela inteira?
Não de forma uniforme. As pesquisas são consistentes nisso:
- O artigo Lost in the Middle (Liu et al.) viu que o desempenho “is often highest when relevant information occurs at the beginning or end of the input context” (tradução: costuma ser maior quando a informação relevante aparece no início ou no fim do contexto de entrada).
- O relatório Context Rot da Chroma testou 18 modelos e viu que “performance grows increasingly unreliable as input length grows” (tradução: o desempenho fica cada vez menos confiável conforme o tamanho da entrada cresce), mesmo em tarefas simples.
Esses estudos não testaram os modelos na BroadNet, então trate-os como um alerta, não como uma medição. A regra prática: uma janela que aceita um milhão de tokens não significa que todo token recebe a mesma atenção. Coloque o material mais importante perto do início ou do fim e teste o recall com os seus documentos.
Quanto custa um prompt de um milhão de tokens?
Em uma chave de pagamento por uso, o DeepSeek V4.1 Flash cobra $0.175 por 1M de tokens de entrada e $0.0055 por 1M de tokens de entrada em cache. Um prompt cheio de um milhão de tokens custa cerca de $0.175 na primeira vez, e bem menos em chamadas repetidas quando o prefixo está em cache. Como aumentar a sua taxa de cache.
A calculadora de prompt caching mostra quanto um acerto de cache economiza nos tamanhos dos seus prompts. Um exemplo prático: dez perguntas sobre o mesmo conjunto de contratos de 800.000 tokens. Sem cache, são 8M de tokens a $0.175 por 1M. Se os documentos vêm primeiro e ficam idênticos, a primeira chamada lê 800.000 tokens novos e as nove seguintes podem ler a maior parte deles do cache a $0.0055 por 1M. Só a pergunta e a resposta mudam.
Em um plano ilimitado, o tamanho do prompt não muda a conta: o Full Moon custa $60 por mês por sessão, sem medidor de tokens. Por isso agentes de contexto longo são um motivo comum para escolher um plano de preço fixo em vez de cobrança por token.
Quanto espaço deixar para a resposta?
A janela cobre prompt e saída, e em modelos de raciocínio a saída inclui o pensamento. Se você envia 1.040.000 tokens de prompt, sobram só uns 8.000 para raciocínio e resposta. Mantenha uma margem, defina max_tokens explicitamente e leia por que modelos de raciocínio podem retornar uma resposta vazia.
Como preparar uma codebase para um prompt de 1M de tokens
- Exclua o que o modelo não precisa. Lock files, saída de build, dependências vendorizadas, imagens e código gerado ocupam tokens e acrescentam ruído.
- Conte antes de enviar. Envie uma amostra pequena, leia
prompt_tokensno usage e escale. - Ordene por estabilidade. Arquivos que mudam pouco primeiro, os arquivos em edição por último, a pergunta bem no fim. Assim o prefixo continua aproveitável pelo cache.
- Rotule cada arquivo. Envolva os arquivos em marcadores claros como
=== path/to/file.py ===para o modelo poder citá-los. - Peça citações. “Cite a linha em que você se baseia” reduz erros ditos com confiança em entradas enormes.
- Meça. Registre por requisição os tokens do prompt, os tokens em cache e o tempo até o primeiro token. O streaming mostra o primeiro token assim que ele chega.
Onde a BroadNet Inference se encaixa
Dois dos modelos de chat dela aceitam 1.048.576 tokens por requisição, e a BroadNet não corta o seu contexto. Em uma chave por token, o cache mantém acessíveis os prompts longos repetidos; em uma sessão de plano, o tamanho do prompt não afeta a conta. Se o seu corpus é muito maior que um milhão de tokens ou muda a cada minuto, você ainda precisa de recuperação, e nenhum tamanho de janela muda isso.

