BroadRouter
Comenzar

RAG (generación aumentada por recuperación)

Actualizado

RAG (generación aumentada por recuperación) es un patrón en el que una aplicación primero recupera, de un almacén externo como un índice de búsqueda o vectorial, fragmentos relevantes para una pregunta, y luego los agrega al prompt para que un modelo de lenguaje responda con ese texto y no solo de memoria.

También llamado: generación aumentada por recuperación, generación aumentada con recuperación, pipeline de RAG, RAG, retrieval-augmented generation, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

RAG le da al modelo un libro abierto: antes de que responda, su código busca las páginas relevantes y las pone en el prompt.

Cómo funciona

El término viene de Lewis et al. (2020). Combinaron un modelo generador (“parametric memory”, traducción: memoria paramétrica) con “a dense vector index of Wikipedia” (traducción: un índice vectorial denso de Wikipedia) como “non-parametric memory” (traducción: memoria no paramétrica), al que se accede mediante un recuperador neuronal, y reportaron mejores resultados en preguntas y respuestas de dominio abierto que los modelos que dependían solo de sus pesos.

Un pipeline de RAG moderno con una API de LLM suele verse así:

  1. Indexar. Divida los documentos en fragmentos, convierta cada uno en embeddings y guárdelos en una base de datos vectorial, a menudo junto a un índice de palabras clave.
  2. Recuperar. Genere el embedding de la pregunta del usuario y traiga los fragmentos que mejor coincidan, por ejemplo de 5 a 20.
  3. Generar. Ponga esos fragmentos en el prompt con la instrucción de responder solo a partir de ellos y citarlos. Envíelo al modelo de chat.

El modelo nunca busca por su cuenta. La calidad de la recuperación marca el techo: si el pasaje correcto no se recupera, el modelo no puede usarlo.

Por qué importa

  • Actualidad. Los pesos del modelo se detienen en su fecha de corte de entrenamiento. RAG le permite responder con la lista de precios o la política de hoy.
  • Costo. Enviar 10 fragmentos cuesta muchos menos tokens de entrada que enviar todo el corpus en cada pregunta.
  • Trazabilidad. Las respuestas pueden citar los pasajes de los que salieron, lo que favorece el grounding y facilita detectar alucinaciones.
  • El orden importa. Los modelos aprovechan mejor el principio y el final de un prompt largo que la parte central. Ponga primero los mejores pasajes. Consulte lost in the middle.

En BroadNet Inference

BroadNet cubre el paso de generación. Su documentación no incluye un endpoint de embeddings, así que el recuperador necesita un modelo de embeddings aparte o una búsqueda por palabras clave. DeepSeek V4.1 Flash y GLM 5.3 aceptan hasta 1,048,576 tokens de contexto, lo que hace práctica una recuperación generosa (o ninguna recuperación en corpus pequeños). El artículo contexto largo vs. RAG compara ambos en costo y recall, y búsqueda RAG en árabe cubre la normalización y la recuperación híbrida para árabe.

Errores comunes

  • Culpar al modelo cuando la falla está en el recuperador. Registre qué fragmentos se recuperaron para cada respuesta.
  • Fragmentos que cortan tablas u oraciones por la mitad.
  • No indicar que responda “no encontrado”. Sin esa instrucción, el modelo rellena los huecos de memoria.

Preguntas frecuentes

¿RAG es lo mismo que fine-tuning?

No. RAG agrega documentos al prompt en el momento de la solicitud y no cambia nada del modelo. El fine-tuning cambia los pesos del modelo. RAG es más fácil de actualizar: se reindexa un documento en lugar de reentrenar.

¿Necesito una base de datos vectorial para RAG?

No siempre. Una búsqueda por palabras clave, una consulta SQL o un pequeño índice en memoria pueden servir como recuperador. Una base de datos vectorial ayuda cuando tiene muchos documentos y necesita coincidencias semánticas.

¿Una ventana de contexto de 1M de tokens reemplaza a RAG?

A veces. Si todo el corpus cabe y se consulta a menudo con caché, puede enviarlo completo. Para corpus grandes o que cambian rápido, la recuperación sigue siendo más barata y rápida por pregunta.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity