O guia da janela de contexto de 1M de tokens mostra o que cabe em um milhão de tokens e quanto custa uma requisição. Este post responde a uma pergunta mais específica, que aparece em toda revisão de arquitetura: dá para apagar o banco de dados vetorial e o pipeline de RAG em volta dele? Às vezes, sim. Veja como decidir, em quatro eixos: custo, latência, recall e manutenção.
Quando o contexto longo substitui o RAG?
As quatro condições abaixo precisam ser verdadeiras:
- O corpus cabe. Prompt mais resposta mais raciocínio ficam dentro da janela de contexto com folga. No DeepSeek V4.1 Flash e no GLM 5.3 essa janela é de 1.048.576 tokens (os dois comparados). A calculadora de janela de contexto confere se os seus documentos cabem.
- Ele muda pouco. Um manual atualizado todo mês serve. Uma fila de tickets atualizada a cada minuto, não.
- Todo mundo pode ver tudo. Um único corpus compartilhado, sem permissões por usuário para filtrar.
- As perguntas atravessam o corpus. “Quais contratos conflitam com a nova política?” precisa de tudo à vista; “qual é o prazo de reembolso?” não.
Se alguma for falsa, mantenha a recuperação ou use uma abordagem híbrida.
Como se compara o custo por consulta?
Pegue um conjunto de documentos de 400.000 tokens e uma pergunta com resposta de 500 tokens. O RAG recupera, digamos, 8.000 tokens de chunks. Em uma chave de pagamento por uso com o DeepSeek V4.1 Flash:
| Abordagem | Entrada por consulta | Custo de entrada por consulta |
|---|---|---|
| Contexto longo, primeira consulta | 400.000 novos | 0,4 × $0.175 |
| Contexto longo, consulta repetida, prefixo em cache | cerca de 400.000 em cache | cerca de 0,4 × $0.0055 |
| RAG | 8.000 novos | 0,008 × $0.175 |
A saída é a mesma em todos os casos: 500 tokens × $0.52 por 1M. (Cada multiplicador é a quantidade de milhões de tokens vezes o preço por 1M.)
Daí saem três conclusões. Sem cache, o contexto longo custa 50 vezes o RAG por consulta na entrada, porque envia 50 vezes mais tokens. Com o corpus em cache, a diferença cai bastante, já que a entrada em cache neste modelo custa uma pequena porcentagem da entrada nova. Mas o cache só vale enquanto o prefixo continua idêntico byte a byte, então o corpus precisa vir primeiro e ficar estável; veja estrutura de prompt para cache. O RAG tem custos próprios que esta tabela deixa de fora: gerar os embeddings do corpus, manter o banco vetorial e o tempo de engenharia para ajustar o chunking. A calculadora de custo de embeddings calcula a parte dos embeddings. A calculadora de chunking para RAG calcula o lado das consultas: chunks, tokens por consulta e a conta mensal do LLM.
Para ver quanto vale a sua própria taxa de cache, use a calculadora de prompt caching. Em um plano de preço fixo, a coluna de entrada desaparece: o Full Moon custa $60 por mês por sessão, sem medidor de tokens, então um prompt de 400.000 tokens custa o mesmo que um curto.
Como se compara a latência?
Um modelo lê o prompt inteiro antes de escrever o primeiro token. O tempo até o primeiro token cresce com o tamanho do prompt, e um prompt de centenas de milhares de tokens demora visivelmente mais para começar do que um de 8.000. Prefixos em cache ajudam em muitos sistemas de serving. A busca vetorial em si costuma acrescentar pouco; a chamada de recuperação é pequena perto da geração.
Então, para um assistente interativo que precisa responder em um ou dois segundos, o RAG é o padrão mais seguro. Para um analista que faz uma pergunta profunda e espera a resposta, contexto longo funciona bem. Meça o TTFT com os seus prompts no tamanho que você pretende enviar.
Qual tem melhor recall?
Nenhum é perfeito, e eles falham de jeitos diferentes.
O contexto longo pode perder fatos no meio (lost in the middle). O estudo Lost in the Middle descobriu que os modelos usavam melhor a informação quando ela estava no início ou no fim da entrada, e pior no meio. O benchmark RULER descobriu que modelos quase perfeitos em testes simples de agulha no palheiro pioravam em tarefas mais difíceis conforme a entrada crescia e que, dos modelos que anunciam 32K tokens ou mais, “only half of them” (tradução: só metade deles) mantinham desempenho satisfatório em 32K. Modelos mais novos se saem melhor, mas a janela anunciada não é a mesma janela em que a qualidade se mantém.
O RAG falha antes de o modelo começar: se o recuperador perde o trecho, o modelo nunca o vê. Perguntas que precisam de muitos trechos, ou que usam palavras diferentes das da fonte, são as falhas clássicas.
| Modo de falha | Contexto longo | RAG |
|---|---|---|
| Fato enterrado no meio do prompt | Risco cresce com o tamanho | Baixo, o prompt é curto |
| Resposta precisa de 20 trechos espalhados | Forte | Fraco, a menos que o top-k seja grande |
| Pergunta usa palavras diferentes da fonte | Forte | Depende dos embeddings e do reranking |
| Corpus maior que a janela | Impossível | Forte |
Duas mitigações para contexto longo: coloque a pergunta no fim, depois dos documentos, e peça ao modelo para citar as linhas em que se baseia.
E a manutenção?
O RAG é um sistema: chunking, embeddings, um índice, reindexação a cada mudança, filtros de permissão, avaliação da qualidade da recuperação. O contexto longo é um prompt: concatene os arquivos com rótulos claros e envie. Para uma equipe pequena com um corpus que cabe, apagar o pipeline elimina trabalho de verdade. Para um corpus grande, em mudança e com permissões, o pipeline faz um trabalho que o contexto longo não consegue fazer.
O híbrido a que a maioria das equipes chega
- Recupere com generosidade: não cinco chunks, mas documentos inteiros, até algumas centenas de milhares de tokens.
- Ordene-os de forma estável (por ID do documento, não por pontuação), para que o prefixo fique em cache entre perguntas relacionadas.
- Coloque a pergunta por último e envie para um modelo de contexto longo.
- Peça citações dos rótulos dos documentos e confira algumas por amostragem.
Isso mantém o alcance do RAG sobre um corpus enorme e a capacidade do contexto longo de raciocinar sobre muitas fontes. Também tolera um recuperador mais fraco, porque um documento quase certo ainda está no prompt.
Onde a BroadNet Inference se encaixa
A BroadNet Inference oferece dois modelos de 1M de tokens, o DeepSeek V4.1 Flash e o GLM 5.3, e não corta o seu contexto, então uma requisição grande demais falha em vez de perder documentos em silêncio. Em uma chave por token, a entrada em cache é cobrada pela tarifa menor de cache, e os planos ilimitados eliminam totalmente o medidor de tokens para o DeepSeek V4.1 Flash. A referência da API lista chat completions e transcrição, não um endpoint de embeddings nem um banco vetorial, então para a metade RAG você traz os seus. Deixe espaço na janela para os tokens de raciocínio; o guia de raciocínio explica por quê. Os preços estão na página de preços.
