BroadRouter

Contexto longo vs RAG: quando 1M de tokens substitui um banco vetorial

Pela equipe da BroadNet Inference · 5 min de leitura · Publicado em · Atualizado em

O contexto longo substitui o RAG quando o corpus cabe na janela, muda pouco e as perguntas precisam de várias partes dele ao mesmo tempo; o cache mantém baratas as consultas repetidas. O RAG ainda vence quando o corpus passa do tamanho da janela, é atualizado o tempo todo, precisa de permissões por usuário ou tem que responder em um ou dois segundos. Muitos sistemas recuperam com RAG e raciocinam com contexto longo.

O guia da janela de contexto de 1M de tokens mostra o que cabe em um milhão de tokens e quanto custa uma requisição. Este post responde a uma pergunta mais específica, que aparece em toda revisão de arquitetura: dá para apagar o banco de dados vetorial e o pipeline de RAG em volta dele? Às vezes, sim. Veja como decidir, em quatro eixos: custo, latência, recall e manutenção.

Quando o contexto longo substitui o RAG?

As quatro condições abaixo precisam ser verdadeiras:

  1. O corpus cabe. Prompt mais resposta mais raciocínio ficam dentro da janela de contexto com folga. No DeepSeek V4.1 Flash e no GLM 5.3 essa janela é de 1.048.576 tokens (os dois comparados). A calculadora de janela de contexto confere se os seus documentos cabem.
  2. Ele muda pouco. Um manual atualizado todo mês serve. Uma fila de tickets atualizada a cada minuto, não.
  3. Todo mundo pode ver tudo. Um único corpus compartilhado, sem permissões por usuário para filtrar.
  4. As perguntas atravessam o corpus. “Quais contratos conflitam com a nova política?” precisa de tudo à vista; “qual é o prazo de reembolso?” não.

Se alguma for falsa, mantenha a recuperação ou use uma abordagem híbrida.

Como se compara o custo por consulta?

Pegue um conjunto de documentos de 400.000 tokens e uma pergunta com resposta de 500 tokens. O RAG recupera, digamos, 8.000 tokens de chunks. Em uma chave de pagamento por uso com o DeepSeek V4.1 Flash:

Abordagem Entrada por consulta Custo de entrada por consulta
Contexto longo, primeira consulta 400.000 novos 0,4 × $0.175
Contexto longo, consulta repetida, prefixo em cache cerca de 400.000 em cache cerca de 0,4 × $0.0055
RAG 8.000 novos 0,008 × $0.175

A saída é a mesma em todos os casos: 500 tokens × $0.52 por 1M. (Cada multiplicador é a quantidade de milhões de tokens vezes o preço por 1M.)

Daí saem três conclusões. Sem cache, o contexto longo custa 50 vezes o RAG por consulta na entrada, porque envia 50 vezes mais tokens. Com o corpus em cache, a diferença cai bastante, já que a entrada em cache neste modelo custa uma pequena porcentagem da entrada nova. Mas o cache só vale enquanto o prefixo continua idêntico byte a byte, então o corpus precisa vir primeiro e ficar estável; veja estrutura de prompt para cache. O RAG tem custos próprios que esta tabela deixa de fora: gerar os embeddings do corpus, manter o banco vetorial e o tempo de engenharia para ajustar o chunking. A calculadora de custo de embeddings calcula a parte dos embeddings. A calculadora de chunking para RAG calcula o lado das consultas: chunks, tokens por consulta e a conta mensal do LLM.

Para ver quanto vale a sua própria taxa de cache, use a calculadora de prompt caching. Em um plano de preço fixo, a coluna de entrada desaparece: o Full Moon custa $60 por mês por sessão, sem medidor de tokens, então um prompt de 400.000 tokens custa o mesmo que um curto.

Como se compara a latência?

Um modelo lê o prompt inteiro antes de escrever o primeiro token. O tempo até o primeiro token cresce com o tamanho do prompt, e um prompt de centenas de milhares de tokens demora visivelmente mais para começar do que um de 8.000. Prefixos em cache ajudam em muitos sistemas de serving. A busca vetorial em si costuma acrescentar pouco; a chamada de recuperação é pequena perto da geração.

Então, para um assistente interativo que precisa responder em um ou dois segundos, o RAG é o padrão mais seguro. Para um analista que faz uma pergunta profunda e espera a resposta, contexto longo funciona bem. Meça o TTFT com os seus prompts no tamanho que você pretende enviar.

Qual tem melhor recall?

Nenhum é perfeito, e eles falham de jeitos diferentes.

O contexto longo pode perder fatos no meio (lost in the middle). O estudo Lost in the Middle descobriu que os modelos usavam melhor a informação quando ela estava no início ou no fim da entrada, e pior no meio. O benchmark RULER descobriu que modelos quase perfeitos em testes simples de agulha no palheiro pioravam em tarefas mais difíceis conforme a entrada crescia e que, dos modelos que anunciam 32K tokens ou mais, “only half of them” (tradução: só metade deles) mantinham desempenho satisfatório em 32K. Modelos mais novos se saem melhor, mas a janela anunciada não é a mesma janela em que a qualidade se mantém.

O RAG falha antes de o modelo começar: se o recuperador perde o trecho, o modelo nunca o vê. Perguntas que precisam de muitos trechos, ou que usam palavras diferentes das da fonte, são as falhas clássicas.

Modo de falha Contexto longo RAG
Fato enterrado no meio do prompt Risco cresce com o tamanho Baixo, o prompt é curto
Resposta precisa de 20 trechos espalhados Forte Fraco, a menos que o top-k seja grande
Pergunta usa palavras diferentes da fonte Forte Depende dos embeddings e do reranking
Corpus maior que a janela Impossível Forte

Duas mitigações para contexto longo: coloque a pergunta no fim, depois dos documentos, e peça ao modelo para citar as linhas em que se baseia.

E a manutenção?

O RAG é um sistema: chunking, embeddings, um índice, reindexação a cada mudança, filtros de permissão, avaliação da qualidade da recuperação. O contexto longo é um prompt: concatene os arquivos com rótulos claros e envie. Para uma equipe pequena com um corpus que cabe, apagar o pipeline elimina trabalho de verdade. Para um corpus grande, em mudança e com permissões, o pipeline faz um trabalho que o contexto longo não consegue fazer.

O híbrido a que a maioria das equipes chega

  1. Recupere com generosidade: não cinco chunks, mas documentos inteiros, até algumas centenas de milhares de tokens.
  2. Ordene-os de forma estável (por ID do documento, não por pontuação), para que o prefixo fique em cache entre perguntas relacionadas.
  3. Coloque a pergunta por último e envie para um modelo de contexto longo.
  4. Peça citações dos rótulos dos documentos e confira algumas por amostragem.

Isso mantém o alcance do RAG sobre um corpus enorme e a capacidade do contexto longo de raciocinar sobre muitas fontes. Também tolera um recuperador mais fraco, porque um documento quase certo ainda está no prompt.

Onde a BroadNet Inference se encaixa

A BroadNet Inference oferece dois modelos de 1M de tokens, o DeepSeek V4.1 Flash e o GLM 5.3, e não corta o seu contexto, então uma requisição grande demais falha em vez de perder documentos em silêncio. Em uma chave por token, a entrada em cache é cobrada pela tarifa menor de cache, e os planos ilimitados eliminam totalmente o medidor de tokens para o DeepSeek V4.1 Flash. A referência da API lista chat completions e transcrição, não um endpoint de embeddings nem um banco vetorial, então para a metade RAG você traz os seus. Deixe espaço na janela para os tokens de raciocínio; o guia de raciocínio explica por quê. Os preços estão na página de preços.

Perguntas frequentes

O RAG morreu agora que os modelos têm janelas de contexto de 1M de tokens?

Não. O contexto longo dispensa a recuperação quando o corpus inteiro cabe e é estável. A maioria das bases de conhecimento de empresas passa de um milhão de tokens, muda todo dia e precisa de permissões, e isso continua sendo território do RAG.

Contexto longo é mais preciso que RAG?

Depende da pergunta. O contexto longo se sai melhor quando a resposta precisa combinar muitos trechos. O RAG pode se sair melhor em buscas de um único fato em corpora enormes, porque um prompt curto mantém o modelo focado. Teste os dois com perguntas reais.

Quantas palavras cabem em uma janela de contexto de 1 milhão de tokens?

Cerca de 810,000 palavras de prosa simples em inglês na janela de 1.048.576 tokens do DeepSeek V4.1 Flash, considerando os 1,290 tokens por 1.000 palavras medidos em cinco tokenizers no conjunto de dados de tokenizers do BroadRouter. Inglês técnico, código, tabelas e árabe precisam de mais tokens por palavra, então cabe menos. Deixe espaço para a resposta e o raciocínio.

Posso combinar RAG e contexto longo?

Sim, e muitas vezes essa é a melhor opção. Recupere com generosidade, por exemplo de 100.000 a 200.000 tokens de documentos candidatos, e deixe um modelo de contexto longo raciocinar sobre todos eles em vez dos cinco melhores chunks.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity