BroadRouter
Comenzar

Base de datos vectorial (vector database)

Actualizado

Una base de datos vectorial es un almacén de datos que guarda vectores de embeddings, a menudo con su texto de origen y metadatos, y responde consultas de vecinos más cercanos: dado un vector de consulta, devuelve los vectores guardados más parecidos, normalmente por distancia coseno, distancia euclidiana o producto interno.

También llamado: base de datos de vectores, almacén vectorial, búsqueda vectorial, búsqueda por similitud, índice vectorial, BD vectorial, vector database, vector store, vector DB, vector index, vector search engine, similarity search database

Una base de datos vectorial responde una sola pregunta muy rápido: ¿qué elementos guardados significan algo cercano a esta consulta?

Cómo funciona

Cada registro es un embedding, una lista de números de longitud fija, más metadatos como el texto de origen, un ID de documento y una fecha. Al consultar, usted convierte la pregunta en embedding con el mismo modelo y pide los k vectores más cercanos.

“Más cercano” requiere una medida de distancia. pgvector, la extensión de Postgres, ofrece tres operadores: <-> para distancia euclidiana (L2), <#> para producto interno negativo y <=> para distancia coseno. Use la que corresponde al entrenamiento de su modelo de embeddings; OpenAI recomienda la similitud coseno para sus vectores.

Comparar una consulta con cada vector guardado es exacto pero lento a escala. Los índices de vecinos más cercanos aproximados (ANN) lo evitan:

Índice Cómo funciona Contrapartida (según la documentación de pgvector)
HNSW Grafo de proximidad por capas Mejor relación velocidad-recall, construcción más lenta, más memoria
IVFFlat Vectores agrupados en listas Construcción más rápida, menos memoria, menor velocidad de consulta con el mismo recall

El artículo de HNSW de Malkov y Yashunin describe una pila de grafos donde la búsqueda empieza en las capas superiores dispersas, lo que “allows a logarithmic complexity scaling.” (traducción: permite un escalado de complejidad logarítmico). El README de pgvector resume el trato: un índice aproximado “trades some recall for speed.” (traducción: cambia algo de recall por velocidad).

Por qué importa

  • Es el recuperador en la mayoría de los sistemas RAG. Si el almacén no encuentra el fragmento correcto, el LLM nunca lo ve.
  • El recall es un ajuste, no algo garantizado. Los parámetros ANN cambian qué resultados vuelven. Mida el recall con consultas reales.
  • Filtrado. Las consultas reales añaden condiciones como idioma, cliente o fecha. Compruebe que los filtros se aplican antes del ranking, no después de un corte top-k que descarta resultados válidos.

En BroadNet Inference

BroadNet no aloja almacenamiento vectorial y su documentación no incluye un endpoint de embeddings. Una configuración típica es su propio almacén vectorial, un modelo de embeddings de otra fuente y un modelo de chat de BroadNet que redacta la respuesta a partir de los fragmentos recuperados. Para corpus pequeños, una ventana de contexto grande puede sustituir al almacén; vea contexto largo vs RAG. Para texto en árabe, búsqueda RAG en árabe explica por qué ayuda un índice de palabras clave junto al índice vectorial.

Errores comunes

  • Consultar con un modelo de embeddings distinto del usado para indexar.
  • Ajustar el prompt del LLM cuando el problema real es un recall bajo en la recuperación.

Preguntas frecuentes

¿Necesito una base de datos vectorial dedicada?

No necesariamente. Extensiones como pgvector añaden a Postgres columnas vectoriales y búsqueda por similitud, así que los vectores pueden vivir junto al resto de sus datos. Los almacenes dedicados ayudan a muy gran escala o con mucho filtrado.

¿La búsqueda vectorial es exacta?

Puede serlo. pgvector hace por defecto una búsqueda exacta de vecinos más cercanos, con recall perfecto. Añadir un índice HNSW o IVFFlat la vuelve aproximada y más rápida.

¿Una base de datos vectorial guarda mi texto?

Normalmente se guarda el fragmento original o un ID de documento junto a cada vector, porque el prompt necesita el texto y un vector no es una forma fiable de recuperarlo. Aun así, Morris et al. (2023) reconstruyeron exactamente el 92 % de entradas de prueba de 32 tokens a partir de sus embeddings, así que proteja los vectores como el propio texto.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity