Una base de datos vectorial responde una sola pregunta muy rápido: ¿qué elementos guardados significan algo cercano a esta consulta?
Cómo funciona
Cada registro es un embedding, una lista de números de longitud fija, más metadatos como el texto de origen, un ID de documento y una fecha. Al consultar, usted convierte la pregunta en embedding con el mismo modelo y pide los k vectores más cercanos.
“Más cercano” requiere una medida de distancia. pgvector, la extensión de Postgres, ofrece tres operadores: <-> para distancia euclidiana (L2), <#> para producto interno negativo y <=> para distancia coseno. Use la que corresponde al entrenamiento de su modelo de embeddings; OpenAI recomienda la similitud coseno para sus vectores.
Comparar una consulta con cada vector guardado es exacto pero lento a escala. Los índices de vecinos más cercanos aproximados (ANN) lo evitan:
| Índice | Cómo funciona | Contrapartida (según la documentación de pgvector) |
|---|---|---|
| HNSW | Grafo de proximidad por capas | Mejor relación velocidad-recall, construcción más lenta, más memoria |
| IVFFlat | Vectores agrupados en listas | Construcción más rápida, menos memoria, menor velocidad de consulta con el mismo recall |
El artículo de HNSW de Malkov y Yashunin describe una pila de grafos donde la búsqueda empieza en las capas superiores dispersas, lo que “allows a logarithmic complexity scaling.” (traducción: permite un escalado de complejidad logarítmico). El README de pgvector resume el trato: un índice aproximado “trades some recall for speed.” (traducción: cambia algo de recall por velocidad).
Por qué importa
- Es el recuperador en la mayoría de los sistemas RAG. Si el almacén no encuentra el fragmento correcto, el LLM nunca lo ve.
- El recall es un ajuste, no algo garantizado. Los parámetros ANN cambian qué resultados vuelven. Mida el recall con consultas reales.
- Filtrado. Las consultas reales añaden condiciones como idioma, cliente o fecha. Compruebe que los filtros se aplican antes del ranking, no después de un corte top-k que descarta resultados válidos.
En BroadNet Inference
BroadNet no aloja almacenamiento vectorial y su documentación no incluye un endpoint de embeddings. Una configuración típica es su propio almacén vectorial, un modelo de embeddings de otra fuente y un modelo de chat de BroadNet que redacta la respuesta a partir de los fragmentos recuperados. Para corpus pequeños, una ventana de contexto grande puede sustituir al almacén; vea contexto largo vs RAG. Para texto en árabe, búsqueda RAG en árabe explica por qué ayuda un índice de palabras clave junto al índice vectorial.
Errores comunes
- Consultar con un modelo de embeddings distinto del usado para indexar.
- Ajustar el prompt del LLM cuando el problema real es un recall bajo en la recuperación.