Une base de données vectorielle répond très vite à une question : quels éléments stockés ont un sens proche de cette requête ?
Comment ça marche
Chaque enregistrement est un embedding, une liste de nombres de longueur fixe, accompagné de métadonnées comme le texte source, un identifiant de document et une date. Au moment de la requête, vous encodez la question avec le même modèle et demandez les k vecteurs les plus proches.
« Plus proche » suppose une mesure de distance. pgvector, l’extension Postgres, propose trois opérateurs : <-> pour la distance euclidienne (L2), <#> pour le produit scalaire négatif et <=> pour la distance cosinus. Utilisez celle pour laquelle votre modèle d’embedding a été entraîné ; OpenAI recommande la similarité cosinus pour ses vecteurs.
Comparer une requête à chaque vecteur stocké est exact, mais lent à grande échelle. Les index de recherche approximative des plus proches voisins (ANN) évitent cela :
| Index | Fonctionnement | Compromis (selon la documentation de pgvector) |
|---|---|---|
| HNSW | Graphe de proximité en couches | Meilleur rapport vitesse-rappel, construction plus lente, plus de mémoire |
| IVFFlat | Vecteurs regroupés en listes | Construction plus rapide, moins de mémoire, requêtes plus lentes à rappel égal |
L’article de Malkov et Yashunin sur HNSW décrit une pile de graphes où la recherche démarre dans les couches supérieures clairsemées, ce qui « allows a logarithmic complexity scaling » (traduction : « permet une croissance logarithmique de la complexité »). Le README de pgvector résume le marché : un index approximatif « trades some recall for speed » (traduction : « échange un peu de rappel contre de la vitesse »).
Pourquoi c’est important
- C’est le retriever de la plupart des systèmes RAG. Si la base rate le bon chunk, le LLM ne le voit jamais.
- Le rappel est un réglage, pas un acquis. Les paramètres ANN changent les résultats renvoyés. Mesurez le rappel sur de vraies requêtes.
- Filtrage. Les vraies requêtes ajoutent des conditions comme la langue, le client ou la date. Vérifiez que les filtres s’appliquent avant le classement, et non après une coupe top-k qui écarte des résultats valides.
Sur BroadNet Inference
BroadNet n’héberge pas de stockage vectoriel et sa documentation ne mentionne pas d’endpoint d’embeddings. Une configuration typique associe votre propre base vectorielle, un modèle d’embedding d’une autre source et un modèle de chat BroadNet qui rédige la réponse à partir des chunks récupérés. Pour de petits corpus, une grande fenêtre de contexte peut remplacer la base ; voir contexte long ou RAG. Pour le texte arabe, la recherche RAG en arabe explique pourquoi un index par mots-clés à côté de l’index vectoriel aide.
Erreurs fréquentes
- Interroger avec un autre modèle d’embedding que celui utilisé pour l’indexation.
- Retoucher le prompt du LLM alors que le vrai problème est un rappel de récupération trop faible.