BroadRouter
Loslegen

Vektordatenbank (vector database)

Aktualisiert

Eine Vektordatenbank ist ein Datenspeicher für Embedding-Vektoren, oft zusammen mit Quelltext und Metadaten, der Nearest-Neighbour-Abfragen beantwortet: Zu einem Anfragevektor liefert sie die ähnlichsten gespeicherten Vektoren, meist nach Kosinus-Distanz, euklidischer Distanz oder Skalarprodukt.

Auch genannt: Vektor-DB, Vektorspeicher, Vektorindex, Vektorsuche, Ähnlichkeitssuche, vector store, vector DB, vector index, vector search engine, similarity search database

Eine Vektordatenbank beantwortet eine Frage sehr schnell: Welche gespeicherten Einträge bedeuten etwas Ähnliches wie diese Anfrage?

So funktioniert es

Jeder Datensatz ist ein Embedding, eine Zahlenliste fester Länge, plus Metadaten wie Quelltext, Dokument-ID und Datum. Zur Abfragezeit betten Sie die Frage mit demselben Modell ein und fragen nach den k nächsten Vektoren.

„Nächste“ braucht ein Distanzmaß. pgvector, die Postgres-Erweiterung, bietet drei Operatoren: <-> für die euklidische Distanz (L2), <#> für das negative Skalarprodukt und <=> für die Kosinus-Distanz. Nehmen Sie das Maß, für das Ihr Embedding-Modell trainiert wurde; OpenAI empfiehlt für seine Vektoren die Kosinus-Ähnlichkeit.

Eine Anfrage mit jedem gespeicherten Vektor zu vergleichen, ist exakt, aber bei großen Datenmengen langsam. Indizes für die approximative Nearest-Neighbour-Suche (ANN) vermeiden das:

Index Funktionsweise Kompromiss (laut pgvector-Dokumentation)
HNSW Geschichteter Nachbarschaftsgraph Besseres Verhältnis von Tempo zu Recall, langsamerer Aufbau, mehr Speicher
IVFFlat Vektoren in Listen gruppiert Schnellerer Aufbau, weniger Speicher, geringere Abfragegeschwindigkeit bei gleichem Recall

Das HNSW-Paper von Malkov und Yashunin beschreibt einen Stapel von Graphen, in dem die Suche in dünn besetzten oberen Schichten beginnt, was „allows a logarithmic complexity scaling“ (Übersetzung: „eine logarithmische Skalierung der Komplexität ermöglicht“). Das README von pgvector fasst den Handel zusammen: Ein approximativer Index „trades some recall for speed“ (Übersetzung: „tauscht etwas Recall gegen Geschwindigkeit“).

Warum es wichtig ist

  • Sie ist der Retriever in den meisten RAG-Systemen. Verfehlt der Speicher den richtigen Chunk, sieht das LLM ihn nie.
  • Recall ist eine Einstellung, keine Gegebenheit. ANN-Parameter verändern, welche Ergebnisse zurückkommen. Messen Sie den Recall mit echten Anfragen.
  • Filtern. Echte Anfragen haben Bedingungen wie Sprache, Kunde oder Datum. Prüfen Sie, dass Filter vor dem Ranking greifen und nicht erst nach einem Top-k-Schnitt, der gültige Treffer verwirft.

Bei BroadNet Inference

BroadNet hostet keinen Vektorspeicher, und die Dokumentation führt keinen Embeddings-Endpoint auf. Ein typisches Setup besteht aus Ihrem eigenen Vektorspeicher, einem Embedding-Modell aus einer anderen Quelle und einem Chat-Modell von BroadNet, das die Antwort aus den abgerufenen Chunks schreibt. Bei kleinen Korpora kann ein großes Kontextfenster den Speicher ersetzen; siehe Long Context vs. RAG. Für arabischen Text erklärt Arabische RAG-Suche, warum ein Keyword-Index neben dem Vektorindex hilft.

Häufige Fehler

  • Mit einem anderen Embedding-Modell abfragen als dem, mit dem indexiert wurde.
  • Am LLM-Prompt feilen, wenn das eigentliche Problem ein geringer Retrieval-Recall ist.

Häufige Fragen

Brauche ich eine eigene Vektordatenbank?

Nicht unbedingt. Erweiterungen wie pgvector fügen Postgres Vektorspalten und Ähnlichkeitssuche hinzu, sodass Vektoren neben Ihren übrigen Daten liegen können. Spezialisierte Speicher helfen bei sehr großem Umfang oder starkem Filterbedarf.

Ist die Vektorsuche exakt?

Sie kann es sein. pgvector führt standardmäßig eine exakte Nearest-Neighbour-Suche aus, die perfekten Recall liefert. Ein HNSW- oder IVFFlat-Index macht sie approximativ und schneller.

Speichert eine Vektordatenbank meinen Text?

Meist speichern Sie den Original-Chunk oder eine Dokument-ID neben jedem Vektor, denn der Prompt braucht den Text, und ein Vektor ist kein verlässlicher Weg, ihn zurückzugewinnen. Dennoch rekonstruierten Morris et al. (2023) 92 % der Testeingaben mit 32 Tokens exakt aus ihren Embeddings; schützen Sie Vektoren also wie den Text selbst.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen