RAG le da al modelo un libro abierto: antes de que responda, su código busca las páginas relevantes y las pone en el prompt.
Cómo funciona
El término viene de Lewis et al. (2020). Combinaron un modelo generador (“parametric memory”, traducción: memoria paramétrica) con “a dense vector index of Wikipedia” (traducción: un índice vectorial denso de Wikipedia) como “non-parametric memory” (traducción: memoria no paramétrica), al que se accede mediante un recuperador neuronal, y reportaron mejores resultados en preguntas y respuestas de dominio abierto que los modelos que dependían solo de sus pesos.
Un pipeline de RAG moderno con una API de LLM suele verse así:
- Indexar. Divida los documentos en fragmentos, convierta cada uno en embeddings y guárdelos en una base de datos vectorial, a menudo junto a un índice de palabras clave.
- Recuperar. Genere el embedding de la pregunta del usuario y traiga los fragmentos que mejor coincidan, por ejemplo de 5 a 20.
- Generar. Ponga esos fragmentos en el prompt con la instrucción de responder solo a partir de ellos y citarlos. Envíelo al modelo de chat.
El modelo nunca busca por su cuenta. La calidad de la recuperación marca el techo: si el pasaje correcto no se recupera, el modelo no puede usarlo.
Por qué importa
- Actualidad. Los pesos del modelo se detienen en su fecha de corte de entrenamiento. RAG le permite responder con la lista de precios o la política de hoy.
- Costo. Enviar 10 fragmentos cuesta muchos menos tokens de entrada que enviar todo el corpus en cada pregunta.
- Trazabilidad. Las respuestas pueden citar los pasajes de los que salieron, lo que favorece el grounding y facilita detectar alucinaciones.
- El orden importa. Los modelos aprovechan mejor el principio y el final de un prompt largo que la parte central. Ponga primero los mejores pasajes. Consulte lost in the middle.
En BroadNet Inference
BroadNet cubre el paso de generación. Su documentación no incluye un endpoint de embeddings, así que el recuperador necesita un modelo de embeddings aparte o una búsqueda por palabras clave. DeepSeek V4.1 Flash y GLM 5.3 aceptan hasta 1,048,576 tokens de contexto, lo que hace práctica una recuperación generosa (o ninguna recuperación en corpus pequeños). El artículo contexto largo vs. RAG compara ambos en costo y recall, y búsqueda RAG en árabe cubre la normalización y la recuperación híbrida para árabe.
Errores comunes
- Culpar al modelo cuando la falla está en el recuperador. Registre qué fragmentos se recuperaron para cada respuesta.
- Fragmentos que cortan tablas u oraciones por la mitad.
- No indicar que responda “no encontrado”. Sin esa instrucción, el modelo rellena los huecos de memoria.