O RAG dá ao modelo uma prova com consulta: antes de ele responder, o seu código procura as páginas relevantes e as coloca no prompt.
Como funciona
O termo vem de Lewis et al. (2020). Os autores combinaram um modelo gerador (“parametric memory”, memória paramétrica) com “a dense vector index of Wikipedia” (tradução: um índice vetorial denso da Wikipédia), a “non-parametric memory” (memória não paramétrica), acessado por um retriever neural, e relataram resultados melhores em perguntas e respostas de domínio aberto do que modelos que dependiam só dos próprios pesos.
Um pipeline de RAG moderno com uma API de LLM costuma ser assim:
- Indexar. Divida os documentos em chunks, transforme cada um em embeddings e guarde-os em um banco de dados vetorial, muitas vezes ao lado de um índice por palavras-chave.
- Recuperar. Gere o embedding da pergunta do usuário e busque os chunks mais parecidos, digamos de 5 a 20.
- Gerar. Coloque esses chunks no prompt com a instrução de responder só com base neles e de citá-los. Envie para o modelo de chat.
O modelo nunca busca sozinho. A qualidade da recuperação define o teto: se o trecho certo não for recuperado, o modelo não tem como usá-lo.
Por que isso importa
- Atualização. Os pesos do modelo param na data de corte do treinamento. O RAG permite responder com base na tabela de preços ou na política de hoje.
- Custo. Enviar 10 chunks custa muito menos tokens de entrada do que enviar o corpus inteiro a cada pergunta.
- Rastreabilidade. As respostas podem citar os trechos de onde vieram, o que ajuda no grounding e facilita identificar alucinações.
- A ordem importa. Os modelos aproveitam melhor o início e o fim de um prompt longo do que o meio. Coloque os melhores trechos primeiro. Veja lost in the middle.
Na BroadNet Inference
A BroadNet cobre a etapa de geração. A documentação dela não lista um endpoint de embeddings, então o retriever precisa de um modelo de embedding separado ou de uma busca por palavras-chave. DeepSeek V4.1 Flash e GLM 5.3 aceitam até 1.048.576 tokens de contexto, o que torna viável uma recuperação generosa (ou nenhuma recuperação, para corpus pequenos). O post contexto longo vs RAG compara os dois em custo e recall, e busca RAG em árabe trata de normalização e recuperação híbrida para árabe.
Erros comuns
- Culpar o modelo quando o problema é o retriever. Registre no log quais chunks foram recuperados para cada resposta.
- Chunks que cortam tabelas ou frases ao meio.
- Nenhuma instrução para dizer “não encontrado”. Sem ela, o modelo preenche as lacunas com a memória.