BroadRouter
Loslegen

RAG (Retrieval-Augmented Generation)

Aktualisiert

RAG (Retrieval-Augmented Generation) ist ein Muster, bei dem eine Anwendung zuerst zur Frage passende Abschnitte aus einem externen Speicher abruft, etwa einem Such- oder Vektorindex, und sie dann in den Prompt einfügt, damit ein Sprachmodell aus diesem Text antwortet statt nur aus seinem Gedächtnis.

Auch genannt: RAG, Retrieval-Augmented Generation, abrufgestützte Generierung, RAG-Pipeline, retrieval augmented generation, RAG pipeline, retrieval-augmented LLM

RAG gibt einem Modell ein offenes Buch: Bevor es antwortet, sucht Ihr Code die passenden Seiten heraus und legt sie in den Prompt.

So funktioniert es

Der Begriff stammt von Lewis et al. (2020). Sie kombinierten ein Generator-Modell als „parametric memory“ mit „a dense vector index of Wikipedia“ als „non-parametric memory“, auf den ein neuronaler Retriever zugreift (Übersetzung: „parametrisches Gedächtnis“, „ein dichter Vektorindex von Wikipedia“, „nicht-parametrisches Gedächtnis“), und berichteten bei Open-Domain-Question-Answering bessere Ergebnisse als bei Modellen, die sich nur auf ihre Gewichte stützten.

Eine moderne RAG-Pipeline mit einer LLM-API sieht meist so aus:

  1. Indexieren. Dokumente in Chunks zerlegen, jeden in Embeddings umwandeln und in einer Vektordatenbank speichern, oft neben einem Stichwortindex.
  2. Abrufen. Die Frage des Nutzers einbetten und die am besten passenden Chunks holen, etwa 5 bis 20.
  3. Generieren. Diese Chunks mit der Anweisung in den Prompt setzen, nur daraus zu antworten und sie zu zitieren. Das Ganze an das Chat-Modell senden.

Das Modell sucht nie selbst. Die Qualität des Retrievals setzt die Obergrenze: Wird die richtige Passage nicht abgerufen, kann das Modell sie nicht nutzen.

Warum es wichtig ist

  • Aktualität. Die Gewichte des Modells enden mit seinem Trainingsstichtag. Mit RAG kann es aus der heutigen Preisliste oder Richtlinie antworten.
  • Kosten. 10 Chunks zu senden kostet weit weniger Input-Tokens, als bei jeder Frage den ganzen Korpus zu senden.
  • Nachvollziehbarkeit. Antworten können die Passagen zitieren, aus denen sie stammen. Das unterstützt Grounding und macht Halluzinationen leichter erkennbar.
  • Die Reihenfolge zählt. Modelle nutzen Anfang und Ende eines langen Prompts besser als die Mitte. Setzen Sie die besten Passagen an den Anfang. Siehe Lost in the Middle.

Bei BroadNet Inference

BroadNet deckt den Generierungsschritt ab. Die Dokumentation nennt keinen Embeddings-Endpoint; der Retriever braucht also ein separates Embedding-Modell oder eine Stichwortsuche. DeepSeek V4.1 Flash und GLM 5.3 nehmen bis zu 1.048.576 Tokens Kontext an, was großzügiges Retrieval (oder bei kleinen Korpora gar keines) praktikabel macht. Der Beitrag Langer Kontext vs. RAG vergleicht beides bei Kosten und Recall, und arabische RAG-Suche behandelt Normalisierung und hybrides Retrieval für Arabisch.

Häufige Fehler

  • Das Modell bewerten, wenn der Retriever schuld ist. Loggen Sie für jede Antwort, welche Chunks abgerufen wurden.
  • Chunks, die Tabellen oder Sätze in der Mitte zerschneiden.
  • Keine Anweisung, „nicht gefunden“ zu sagen. Ohne sie füllt das Modell Lücken aus seinem Gedächtnis.

Häufige Fragen

Ist RAG dasselbe wie Fine-Tuning?

Nein. RAG fügt dem Prompt zum Zeitpunkt der Anfrage Dokumente hinzu und ändert am Modell nichts. Fine-Tuning ändert die Gewichte des Modells. RAG lässt sich leichter aktualisieren: Sie indexieren ein Dokument neu, statt neu zu trainieren.

Brauche ich für RAG eine Vektordatenbank?

Nicht immer. Eine Stichwortsuche, eine SQL-Abfrage oder ein kleiner In-Memory-Index können alle als Retriever dienen. Eine Vektordatenbank hilft, wenn Sie viele Dokumente haben und semantische Treffer brauchen.

Ersetzt ein Kontextfenster mit 1M Tokens RAG?

Manchmal. Passt der gesamte Korpus hinein und wird er mit Caching oft abgefragt, können Sie alles senden. Bei großen oder sich schnell ändernden Korpora ist Retrieval pro Frage weiterhin günstiger und schneller.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen