Mit einem Embedding misst ein Computer Bedeutung: Zwei Texte, die Ähnliches sagen, erhalten zwei Vektoren, die in ähnliche Richtungen zeigen.
So funktioniert es
Sie senden Text an ein Embedding-Modell und erhalten einen Vektor fester Länge zurück. Der Leitfaden von OpenAI sagt es schlicht: „An embedding is a vector (list) of floating point numbers.“ (Übersetzung: „Ein Embedding ist ein Vektor (eine Liste) von Gleitkommazahlen.“) Die Länge ist pro Modell festgelegt. text-embedding-3-small von OpenAI liefert standardmäßig 1.536 Zahlen, text-embedding-3-large 3.072.
Um zwei Texte zu vergleichen, vergleichen Sie ihre Vektoren. OpenAI empfiehlt die Kosinus-Ähnlichkeit. Seine Vektoren sind auf Länge 1 normiert, sodass ein einfaches Skalarprodukt dieselbe Rangfolge ergibt. Ein Anfragevektor, der mit Millionen gespeicherter Vektoren verglichen wird, ist der Kern semantischer Suche. Das schnell und in großem Maßstab zu erledigen, ist die Aufgabe einer Vektordatenbank.
Embedding-Modelle sind eine andere Art Modell als Chat-Modelle. Sie lesen einen ganzen Input und geben Zahlen zurück; sie erzeugen keinen Text. Sie werden pro Input-Token abgerechnet, und es gibt keinen Output-Text, den man bezahlen müsste.
Warum es wichtig ist
- Retrieval. Embeddings sind der übliche erste Schritt von Retrieval-Augmented Generation: Ihre Dokumente einmal einbetten, jede Frage einbetten, die nächstliegenden Chunks holen und an das Chat-Modell übergeben.
- Die Modellwahl ändert die Ergebnisse. Der MTEB-Benchmark hat 33 Modelle über 8 Aufgabentypen, 58 Datensätze und 112 Sprachen getestet und festgestellt: „no particular text embedding method dominates across all tasks“ (Übersetzung: „keine einzelne Text-Embedding-Methode dominiert über alle Aufgaben hinweg“). Testen Sie mit Ihren eigenen Anfragen, besonders bei arabischem oder gemischtsprachigem Text.
- Lock-in. Vektoren eines Modells lassen sich nicht mit Vektoren eines anderen vergleichen. Wer das Embedding-Modell wechselt, muss den gesamten Korpus neu einbetten.
Bei BroadNet Inference
Die BroadNet-Dokumentation nennt /v1/chat/completions, /v1/audio/transcriptions und GET /v1/models (eine Modellliste). Einen Embeddings-Endpoint gibt es nicht. Für ein Such- oder RAG-System kombinieren Sie ein separates Embedding-Modell (eine gehostete API oder ein offenes Modell, das Sie selbst betreiben) mit einem Chat-Modell von BroadNet für die Antwort. Die Anleitung zu arabischem RAG zeigt diese Aufteilung mit einem mehrsprachigen Embedding-Modell.
Passen Ihre Dokumente hinein, kann ein langes Kontextfenster das Retrieval manchmal ganz ersparen. Die Abwägungen stehen in Langer Kontext vs. RAG.
Häufige Fehler
- Vektoren aus zwei Embedding-Modellen in einem Index mischen.
- Ganze Dokumente statt Chunks einbetten. Ein Vektor für 50 Seiten verwischt jedes Thema darin.
- Dokumente normalisieren, Anfragen aber nicht, oder umgekehrt. Wenden Sie auf beide dieselbe Textbereinigung an.