Un database vettoriale risponde molto in fretta a una sola domanda: quali elementi memorizzati hanno un significato vicino a questa query?
Come funziona
Ogni record è un embedding, una lista di numeri di lunghezza fissa, più metadati come il testo di origine, un ID di documento e una data. Al momento della query fai l’embedding della domanda con lo stesso modello e chiedi i top k vettori più vicini.
“Più vicino” richiede una misura di distanza. pgvector, l’estensione di Postgres, offre tre operatori: <-> per la distanza euclidea (L2), <#> per il prodotto scalare negativo e <=> per la distanza coseno. Usa quella per cui è stato addestrato il tuo modello di embedding; OpenAI consiglia la similarità coseno per i suoi vettori.
Confrontare una query con ogni vettore memorizzato è esatto ma lento su larga scala. Gli indici approximate nearest neighbour (ANN) lo evitano:
| Indice | Come funziona | Compromesso (secondo la documentazione di pgvector) |
|---|---|---|
| HNSW | Grafo di prossimità a livelli | Miglior rapporto velocità-recall, costruzione più lenta, più memoria |
| IVFFlat | Vettori raggruppati in liste | Costruzione più rapida, meno memoria, query più lente a parità di recall |
Il paper HNSW di Malkov e Yashunin descrive una pila di grafi in cui la ricerca parte dai livelli superiori, più radi, cosa che “allows a logarithmic complexity scaling” (traduzione: consente una crescita logaritmica della complessità). Il README di pgvector riassume il patto: un indice approssimato “trades some recall for speed” (traduzione: cede un po’ di recall in cambio di velocità).
Perché è importante
- È il retriever nella maggior parte dei sistemi RAG. Se l’archivio non trova il chunk giusto, l’LLM non lo vede mai.
- La recall è un’impostazione, non un dato di fatto. I parametri ANN cambiano quali risultati tornano. Misura la recall su query reali.
- Filtri. Le query reali aggiungono condizioni come lingua, cliente o data. Verifica che i filtri si applichino prima del ranking, non dopo un taglio top-k che scarta risultati validi.
Su BroadNet Inference
BroadNet non ospita storage vettoriale e la sua documentazione non elenca un endpoint per gli embedding. Una configurazione tipica è un tuo archivio vettoriale, un modello di embedding di un’altra fonte e un modello di chat di BroadNet che scrive la risposta a partire dai chunk recuperati. Per corpus piccoli, una finestra di contesto ampia può sostituire l’archivio; vedi contesto lungo vs RAG. Per il testo arabo, la ricerca RAG in arabo spiega perché aiuta un indice per parole chiave accanto a quello vettoriale.
Errori comuni
- Fare le query con un modello di embedding diverso da quello usato per l’indicizzazione.
- Ritoccare il prompt dell’LLM quando il vero problema è una recall di retrieval bassa.