BroadRouter

Long Context vs. RAG: Wann 1M Tokens die Vektordatenbank ersetzen

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht · Aktualisiert

Long Context ersetzt RAG, wenn der Korpus ins Fenster passt, sich selten ändert und Fragen viele Teile davon gleichzeitig brauchen; Caching hält wiederholte Anfragen günstig. RAG gewinnt weiterhin, wenn der Korpus größer als das Fenster ist, sich ständig ändert, Berechtigungen pro Nutzer braucht oder in ein bis zwei Sekunden antworten muss. Viele Systeme suchen per RAG und schlussfolgern mit Long Context.

Der Leitfaden zum Kontextfenster mit 1M Tokens behandelt, was in eine Million Tokens passt und was eine Anfrage kostet. Dieser Beitrag beantwortet eine engere Frage, die in jedem Architektur-Review aufkommt: Können wir die Vektordatenbank und die RAG-Pipeline drumherum löschen? Manchmal ja. So entscheiden Sie, entlang von vier Achsen: Kosten, Latenz, Recall und Wartung.

Wann ersetzt Long Context RAG?

Alle vier Bedingungen sollten zutreffen:

  1. Der Korpus passt. Prompt plus Antwort plus Reasoning bleibt mit Puffer im Kontextfenster. Bei DeepSeek V4.1 Flash und GLM 5.3 umfasst das Fenster 1.048.576 Tokens (die beiden im Vergleich). Der Kontextfenster-Rechner prüft, ob Ihre Dokumente hineinpassen.
  2. Er ändert sich selten. Ein Handbuch, das monatlich aktualisiert wird, ist in Ordnung. Eine Ticket-Warteschlange, die sich jede Minute ändert, nicht.
  3. Alle dürfen alles sehen. Ein gemeinsamer Korpus, keine Berechtigungen pro Nutzer, nach denen gefiltert werden muss.
  4. Die Fragen umspannen den Korpus. „Welche Verträge widersprechen der neuen Richtlinie?“ braucht alles im Blick; „Wie lange ist die Rückgabefrist?“ nicht.

Trifft eine Bedingung nicht zu, behalten Sie das Retrieval oder nutzen Sie einen hybriden Ansatz.

Wie vergleichen sich die Kosten pro Anfrage?

Nehmen Sie einen Dokumentenbestand mit 400.000 Tokens und eine Frage mit einer Antwort von 500 Tokens. RAG holt, sagen wir, 8.000 Tokens an Chunks. Mit einem Pay-as-you-go-Schlüssel und DeepSeek V4.1 Flash:

Ansatz Input pro Anfrage Input-Kosten pro Anfrage
Long Context, erste Anfrage 400.000 neu 0,4 × $0.175
Long Context, Folgeanfrage, Präfix gecacht etwa 400.000 gecacht etwa 0,4 × $0.0055
RAG 8.000 neu 0,008 × $0.175

Die Ausgabe ist in jedem Fall gleich: 500 Tokens × $0.52 pro 1M. (Jeder Faktor ist die Zahl der Tokens in Millionen mal dem Preis pro 1M.)

Daraus folgt dreierlei. Ohne Caching kostet Long Context beim Input pro Anfrage das 50-Fache von RAG, weil es 50-mal so viele Tokens sendet. Mit gecachtem Korpus schrumpft die Lücke deutlich, denn gecachter Input kostet bei diesem Modell nur wenige Prozent von neuem Input. Caching hält aber nur, solange das Präfix byte-identisch bleibt; der Korpus muss also zuerst kommen und stabil bleiben, siehe Prompt-Struktur für Caching. RAG hat eigene Kosten, die diese Tabelle auslässt: das Embedding des Korpus, den Betrieb des Vektorspeichers und die Entwicklungszeit für das Feintuning des Chunkings. Der Embedding-Kostenrechner beziffert den Embedding-Teil. Der RAG-Chunking-Rechner beziffert die Anfrageseite: Chunks, Tokens pro Anfrage und die monatliche LLM-Rechnung.

Was Ihre eigene Cache-Quote wert ist, zeigt der Prompt-Caching-Rechner. Bei einem Pauschalplan entfällt die Input-Spalte: Full Moon kostet $60 pro Monat und Session ohne Token-Zähler, ein Prompt mit 400.000 Tokens kostet also dasselbe wie ein kurzer.

Wie vergleicht sich die Latenz?

Ein Modell liest den ganzen Prompt, bevor es das erste Token schreibt. Die Time to First Token wächst mit der Prompt-Länge, und ein Prompt mit Hunderttausenden Tokens braucht spürbar länger bis zum Start als einer mit 8.000. Gecachte Präfixe helfen in vielen Serving-Systemen. Die Vektorsuche selbst fügt meist wenig hinzu; der Retrieval-Aufruf ist klein im Vergleich zur Generierung.

Für einen interaktiven Assistenten, der in ein bis zwei Sekunden antworten muss, ist RAG also der sicherere Standard. Für eine Analystin, die eine tiefgehende Frage stellt und auf die Antwort wartet, ist Long Context in Ordnung. Messen Sie die TTFT mit Ihren eigenen Prompts in der Größe, die Sie senden wollen.

Was hat den besseren Recall?

Keines ist perfekt, und sie scheitern auf unterschiedliche Weise.

Long Context kann Fakten in der Mitte verlieren (Lost in the Middle). Die Studie Lost in the Middle stellte fest, dass Modelle Informationen am besten nutzten, wenn sie am Anfang oder Ende der Eingabe standen, und schlechter dazwischen. Der Benchmark RULER fand, dass Modelle, die bei einfachen Needle-in-a-Haystack-Tests fast perfekt abschneiden, bei schwierigeren Aufgaben mit wachsender Eingabe nachließen, und dass von den Modellen, die 32K Tokens oder mehr beanspruchen, „only half of them“ (Übersetzung: „nur die Hälfte“) bei 32K eine zufriedenstellende Leistung hielten. Neuere Modelle schneiden besser ab, aber das beworbene Fenster ist nicht dasselbe wie das Fenster, in dem die Qualität hält.

RAG scheitert, bevor das Modell startet: Verfehlt der Retriever die Passage, sieht das Modell sie nie. Fragen, die viele Passagen brauchen oder andere Wörter verwenden als die Quelle, sind die klassischen Fehltreffer.

Fehlerart Long Context RAG
Fakt mitten im Prompt vergraben Risiko wächst mit der Länge Gering, der Prompt ist kurz
Antwort braucht 20 verstreute Passagen Stark Schwach, außer bei großem top-k
Wortlaut der Anfrage weicht von der Quelle ab Stark Hängt von Embeddings und Reranking ab
Korpus größer als das Fenster Nicht möglich Stark

Zwei Gegenmittel für Long Context: Stellen Sie die Frage ans Ende, nach den Dokumenten, und bitten Sie das Modell, die Zeilen zu zitieren, auf die es sich stützt.

Und die Wartung?

RAG ist ein System: Chunking, Embeddings, ein Index, Neuindexierung bei Änderungen, Berechtigungsfilter, Bewertung der Retrieval-Qualität. Long Context ist ein Prompt: Dateien mit klaren Beschriftungen aneinanderhängen und senden. Für ein kleines Team mit einem Korpus, der hineinpasst, spart das Löschen der Pipeline echte Arbeit. Bei einem großen, sich ändernden Korpus mit Berechtigungen erledigt die Pipeline eine Aufgabe, die Long Context nicht leisten kann.

Der hybride Ansatz, bei dem die meisten Teams landen

  1. Suchen Sie großzügig, nicht fünf Chunks, sondern ganze Dokumente, bis zu einigen Hunderttausend Tokens.
  2. Ordnen Sie sie stabil (nach Dokument-ID, nicht nach Score), damit das Präfix über verwandte Fragen hinweg gecacht wird.
  3. Stellen Sie die Frage ans Ende und senden Sie alles an ein Long-Context-Modell.
  4. Fordern Sie Zitate mit Verweis auf die Dokumentbeschriftungen an und prüfen Sie diese stichprobenartig.

So behalten Sie die Reichweite von RAG über einen riesigen Korpus und die Fähigkeit von Long Context, über viele Quellen hinweg zu schlussfolgern. Der Ansatz verzeiht auch einen schwächeren Retriever, weil ein knapp verfehltes Dokument trotzdem im Prompt steht.

Wo BroadNet Inference ins Bild passt

BroadNet Inference bietet zwei Modelle mit 1M Tokens, DeepSeek V4.1 Flash und GLM 5.3, und kürzt Ihren Kontext nicht. Eine zu große Anfrage scheitert also, statt still Dokumente zu verlieren. Gecachter Input wird bei einem Schlüssel mit Abrechnung pro Token zum niedrigeren Cache-Preis berechnet, und die unbegrenzten Pläne schaffen den Token-Zähler für DeepSeek V4.1 Flash ganz ab. Die API-Referenz listet Chat Completions und Transkription, keinen Embeddings-Endpoint und keinen Vektorspeicher; für die RAG-Hälfte bringen Sie also Ihre eigenen Komponenten mit. Lassen Sie im Fenster Platz für Reasoning-Tokens; der Leitfaden zu Reasoning erklärt, warum. Die Preise stehen auf der Preisseite.

Häufige Fragen

Ist RAG tot, jetzt wo Modelle Kontextfenster mit 1M Tokens haben?

Nein. Long Context macht Retrieval überflüssig, wenn der ganze Korpus hineinpasst und stabil ist. Die meisten Wissensdatenbanken in Unternehmen sind größer als eine Million Tokens, ändern sich täglich und brauchen Berechtigungen. Das bleibt das Terrain von RAG.

Ist Long Context genauer als RAG?

Das hängt von der Frage ab. Long Context schneidet besser ab, wenn die Antwort viele Passagen kombinieren muss. RAG kann bei der Suche nach einem einzelnen Fakt in riesigen Korpora besser sein, weil ein kurzer Prompt das Modell fokussiert hält. Testen Sie beides mit echten Fragen.

Wie viele Wörter passen in ein Kontextfenster mit 1 Million Tokens?

Etwa 810,000 Wörter englischer Fließtext im Fenster von DeepSeek V4.1 Flash mit 1.048.576 Tokens, bei 1,290 Tokens pro 1.000 Wörter, gemessen über fünf Tokenizer im Tokenizer-Datensatz von BroadRouter. Technisches Englisch, Code, Tabellen und Arabisch brauchen mehr Tokens pro Wort, es passt also weniger hinein. Lassen Sie Platz für Antwort und Reasoning.

Kann ich RAG und Long Context kombinieren?

Ja, und das ist oft die beste Option. Suchen Sie großzügig, zum Beispiel 100.000 bis 200.000 Tokens an Kandidaten-Dokumenten, und lassen Sie dann ein Long-Context-Modell über alle schlussfolgern statt nur über die fünf besten Chunks.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen