BroadRouter
Começar

RAG (geração aumentada por recuperação)

Atualizado em

RAG (retrieval-augmented generation, ou geração aumentada por recuperação) é um padrão em que a aplicação primeiro busca, em um repositório externo como um índice de busca ou vetorial, trechos relevantes para uma pergunta e depois os adiciona ao prompt, para que um modelo de linguagem responda a partir desse texto e não só da memória.

Também chamado de: geração aumentada por recuperação, geração aumentada de recuperação, pipeline de RAG, RAG com LLM, retrieval-augmented generation, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

O RAG dá ao modelo uma prova com consulta: antes de ele responder, o seu código procura as páginas relevantes e as coloca no prompt.

Como funciona

O termo vem de Lewis et al. (2020). Os autores combinaram um modelo gerador (“parametric memory”, memória paramétrica) com “a dense vector index of Wikipedia” (tradução: um índice vetorial denso da Wikipédia), a “non-parametric memory” (memória não paramétrica), acessado por um retriever neural, e relataram resultados melhores em perguntas e respostas de domínio aberto do que modelos que dependiam só dos próprios pesos.

Um pipeline de RAG moderno com uma API de LLM costuma ser assim:

  1. Indexar. Divida os documentos em chunks, transforme cada um em embeddings e guarde-os em um banco de dados vetorial, muitas vezes ao lado de um índice por palavras-chave.
  2. Recuperar. Gere o embedding da pergunta do usuário e busque os chunks mais parecidos, digamos de 5 a 20.
  3. Gerar. Coloque esses chunks no prompt com a instrução de responder só com base neles e de citá-los. Envie para o modelo de chat.

O modelo nunca busca sozinho. A qualidade da recuperação define o teto: se o trecho certo não for recuperado, o modelo não tem como usá-lo.

Por que isso importa

  • Atualização. Os pesos do modelo param na data de corte do treinamento. O RAG permite responder com base na tabela de preços ou na política de hoje.
  • Custo. Enviar 10 chunks custa muito menos tokens de entrada do que enviar o corpus inteiro a cada pergunta.
  • Rastreabilidade. As respostas podem citar os trechos de onde vieram, o que ajuda no grounding e facilita identificar alucinações.
  • A ordem importa. Os modelos aproveitam melhor o início e o fim de um prompt longo do que o meio. Coloque os melhores trechos primeiro. Veja lost in the middle.

Na BroadNet Inference

A BroadNet cobre a etapa de geração. A documentação dela não lista um endpoint de embeddings, então o retriever precisa de um modelo de embedding separado ou de uma busca por palavras-chave. DeepSeek V4.1 Flash e GLM 5.3 aceitam até 1.048.576 tokens de contexto, o que torna viável uma recuperação generosa (ou nenhuma recuperação, para corpus pequenos). O post contexto longo vs RAG compara os dois em custo e recall, e busca RAG em árabe trata de normalização e recuperação híbrida para árabe.

Erros comuns

  • Culpar o modelo quando o problema é o retriever. Registre no log quais chunks foram recuperados para cada resposta.
  • Chunks que cortam tabelas ou frases ao meio.
  • Nenhuma instrução para dizer “não encontrado”. Sem ela, o modelo preenche as lacunas com a memória.

Perguntas frequentes

RAG é a mesma coisa que fine-tuning?

Não. O RAG adiciona documentos ao prompt na hora da requisição e não muda nada no modelo. O fine-tuning muda os pesos do modelo. O RAG é mais fácil de atualizar; você reindexa um documento em vez de treinar de novo.

Preciso de um banco de dados vetorial para fazer RAG?

Nem sempre. Busca por palavra-chave, uma consulta SQL ou um pequeno índice em memória podem servir de retriever. Um banco vetorial ajuda quando você tem muitos documentos e precisa de correspondência semântica.

Uma janela de contexto de 1M de tokens substitui o RAG?

Às vezes. Se o corpus inteiro cabe e é consultado com frequência usando cache, dá para enviar tudo. Para corpus grandes ou que mudam rápido, a recuperação ainda é mais barata e mais rápida por pergunta.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity