Eine Vektordatenbank beantwortet eine Frage sehr schnell: Welche gespeicherten Einträge bedeuten etwas Ähnliches wie diese Anfrage?
So funktioniert es
Jeder Datensatz ist ein Embedding, eine Zahlenliste fester Länge, plus Metadaten wie Quelltext, Dokument-ID und Datum. Zur Abfragezeit betten Sie die Frage mit demselben Modell ein und fragen nach den k nächsten Vektoren.
„Nächste“ braucht ein Distanzmaß. pgvector, die Postgres-Erweiterung, bietet drei Operatoren: <-> für die euklidische Distanz (L2), <#> für das negative Skalarprodukt und <=> für die Kosinus-Distanz. Nehmen Sie das Maß, für das Ihr Embedding-Modell trainiert wurde; OpenAI empfiehlt für seine Vektoren die Kosinus-Ähnlichkeit.
Eine Anfrage mit jedem gespeicherten Vektor zu vergleichen, ist exakt, aber bei großen Datenmengen langsam. Indizes für die approximative Nearest-Neighbour-Suche (ANN) vermeiden das:
| Index | Funktionsweise | Kompromiss (laut pgvector-Dokumentation) |
|---|---|---|
| HNSW | Geschichteter Nachbarschaftsgraph | Besseres Verhältnis von Tempo zu Recall, langsamerer Aufbau, mehr Speicher |
| IVFFlat | Vektoren in Listen gruppiert | Schnellerer Aufbau, weniger Speicher, geringere Abfragegeschwindigkeit bei gleichem Recall |
Das HNSW-Paper von Malkov und Yashunin beschreibt einen Stapel von Graphen, in dem die Suche in dünn besetzten oberen Schichten beginnt, was „allows a logarithmic complexity scaling“ (Übersetzung: „eine logarithmische Skalierung der Komplexität ermöglicht“). Das README von pgvector fasst den Handel zusammen: Ein approximativer Index „trades some recall for speed“ (Übersetzung: „tauscht etwas Recall gegen Geschwindigkeit“).
Warum es wichtig ist
- Sie ist der Retriever in den meisten RAG-Systemen. Verfehlt der Speicher den richtigen Chunk, sieht das LLM ihn nie.
- Recall ist eine Einstellung, keine Gegebenheit. ANN-Parameter verändern, welche Ergebnisse zurückkommen. Messen Sie den Recall mit echten Anfragen.
- Filtern. Echte Anfragen haben Bedingungen wie Sprache, Kunde oder Datum. Prüfen Sie, dass Filter vor dem Ranking greifen und nicht erst nach einem Top-k-Schnitt, der gültige Treffer verwirft.
Bei BroadNet Inference
BroadNet hostet keinen Vektorspeicher, und die Dokumentation führt keinen Embeddings-Endpoint auf. Ein typisches Setup besteht aus Ihrem eigenen Vektorspeicher, einem Embedding-Modell aus einer anderen Quelle und einem Chat-Modell von BroadNet, das die Antwort aus den abgerufenen Chunks schreibt. Bei kleinen Korpora kann ein großes Kontextfenster den Speicher ersetzen; siehe Long Context vs. RAG. Für arabischen Text erklärt Arabische RAG-Suche, warum ein Keyword-Index neben dem Vektorindex hilft.
Häufige Fehler
- Mit einem anderen Embedding-Modell abfragen als dem, mit dem indexiert wurde.
- Am LLM-Prompt feilen, wenn das eigentliche Problem ein geringer Retrieval-Recall ist.