BroadRouter
Commencer

Embeddings (plongements vectoriels)

Mis à jour

Les embeddings sont des listes de nombres à virgule flottante (des vecteurs) qu’un modèle produit pour représenter un texte, une image ou une autre entrée. Des entrées de sens proche obtiennent des vecteurs voisins : la distance entre vecteurs permet de classer des résultats de recherche, de regrouper des documents ou de trouver des éléments apparentés.

Aussi appelé : embeddings, embedding, plongements, plongements vectoriels, vecteurs d’embedding, modèle d’embeddings, text embeddings, vector embeddings, embedding vectors, embedding model, sentence embeddings

Un embedding, c’est la façon dont un ordinateur mesure le sens : deux textes qui disent des choses proches obtiennent deux vecteurs qui pointent dans des directions proches.

Comment ça marche

Vous envoyez du texte à un modèle d’embeddings et recevez un vecteur de longueur fixe. Le guide d’OpenAI le dit simplement : « An embedding is a vector (list) of floating point numbers. » (traduction : « Un embedding est un vecteur (une liste) de nombres à virgule flottante. ») La longueur est fixe pour un modèle donné. text-embedding-3-small d’OpenAI renvoie 1 536 nombres par défaut et text-embedding-3-large 3 072.

Pour comparer deux textes, on compare leurs vecteurs. OpenAI recommande la similarité cosinus. Ses vecteurs étant normalisés à une longueur de 1, un simple produit scalaire donne le même classement. Comparer un vecteur de requête à des millions de vecteurs stockés, c’est le cœur de la recherche sémantique. Le faire vite et à grande échelle est le rôle d’une base de données vectorielle.

Les modèles d’embeddings sont d’un autre type que les modèles de chat. Ils lisent une entrée entière et renvoient des nombres ; ils ne génèrent pas de texte. Ils sont facturés par token d’entrée, et il n’y a pas de texte de sortie à payer.

Pourquoi c’est important

  • Récupération. Les embeddings sont la première étape habituelle de la génération augmentée par récupération : calculer une fois les embeddings de vos documents, puis ceux de chaque question, récupérer les chunks les plus proches et les transmettre au modèle de chat.
  • Le choix du modèle change les résultats. Le benchmark MTEB a testé 33 modèles sur 8 types de tâches, 58 jeux de données et 112 langues, et a constaté que « no particular text embedding method dominates across all tasks » (traduction : « aucune méthode d’embedding de texte ne domine sur toutes les tâches »). Testez sur vos propres requêtes, surtout pour l’arabe ou un texte multilingue.
  • Dépendance. Les vecteurs d’un modèle ne sont pas comparables à ceux d’un autre. Changer de modèle d’embeddings impose de recalculer les embeddings de tout le corpus.

Sur BroadNet Inference

La documentation de BroadNet mentionne /v1/chat/completions, /v1/audio/transcriptions et GET /v1/models (une liste de modèles). Il n’y a pas d’endpoint d’embeddings. Pour un système de recherche ou de RAG, associez un modèle d’embeddings séparé (une API hébergée ou un modèle ouvert que vous faites tourner vous-même) à un modèle de chat BroadNet pour la réponse. Le guide du RAG en arabe montre cette répartition avec un modèle d’embeddings multilingue.

Si vos documents tiennent dans la fenêtre, un long contexte permet parfois de se passer complètement de récupération. Les compromis sont détaillés dans long contexte ou RAG.

Erreurs fréquentes

  • Mélanger dans un même index des vecteurs issus de deux modèles d’embeddings.
  • Calculer l’embedding de documents entiers plutôt que de chunks. Un seul vecteur pour 50 pages brouille tous les sujets qu’elles contiennent.
  • Normaliser les documents mais pas les requêtes, ou l’inverse. Appliquez le même nettoyage de texte aux deux.

Questions fréquentes

Les embeddings sont-ils la même chose que les tokens ?

Non. Un token est un morceau de texte que le modèle lit. Un embedding est le vecteur que le modèle d’embeddings produit pour une entrée entière, comme une phrase ou un paragraphe.

Combien de dimensions compte un embedding ?

Cela dépend du modèle. text-embedding-3-small d’OpenAI renvoie 1 536 nombres par défaut et text-embedding-3-large 3 072, et les deux peuvent être raccourcis avec un paramètre dimensions.

BroadNet Inference propose-t-il un endpoint d’embeddings ?

Non. La documentation de BroadNet ne mentionne que /v1/chat/completions et /v1/audio/transcriptions. Utilisez un modèle d’embeddings séparé pour la récupération et BroadNet pour l’étape de génération.

Lire en MarkdownDemander à ChatGPTDemander à ClaudeDemander à Perplexity