---
title: "Long Context vs. RAG: Kosten, Latenz und Recall im Vergleich"
description: "Wann ein Kontextfenster mit 1M Tokens eine Vektordatenbank ersetzt und wann RAG gewinnt: Vergleich nach Kosten pro Anfrage, Latenz, Recall und Wartung."
url: https://broadrouter.com/de/blog/long-context-vs-rag/
lang: de
updated: 2026-11-14
publisher: BroadRouter (a BroadNet site); API by BroadNet Inference, https://inference.broadnet.ai
---

Mit KI-Unterstützung aus dem Englischen übersetzt. [Englisches Original lesen](https://broadrouter.com/blog/long-context-vs-rag/) (aktualisiert am 2026-11-16).

# Long Context vs. RAG: Wann 1M Tokens die Vektordatenbank ersetzen

Vom Team von BroadNet Inference · 5 Min. Lesezeit · Veröffentlicht 2026-11-14 · Aktualisiert 2026-11-16

Long Context ersetzt RAG, wenn der Korpus ins Fenster passt, sich selten ändert und Fragen viele Teile davon gleichzeitig brauchen; Caching hält wiederholte Anfragen günstig. RAG gewinnt weiterhin, wenn der Korpus größer als das Fenster ist, sich ständig ändert, Berechtigungen pro Nutzer braucht oder in ein bis zwei Sekunden antworten muss. Viele Systeme suchen per RAG und schlussfolgern mit Long Context.

## Das Wichtigste in Kürze

-   Die Korpusgröße ist der erste Filter: Passt er samt Platz für die Antwort nicht ins Fenster, brauchen Sie irgendeine Form von Retrieval.
-   Pro Anfrage sendet Long Context den ganzen Korpus, RAG nur ein paar Tausend Tokens. Prefix Caching verkleinert die Kostenlücke nur, wenn der Korpus stabil ist.
-   Lange Prompts erhöhen die Time to First Token. RAG hält Prompts kurz und schnell.
-   Der Recall im Long Context ist nicht perfekt: Modelle finden Fakten am Anfang und Ende eines Prompts zuverlässiger als in der Mitte.
-   RAG scheitert anders: Verfehlt das Retrieval die Passage, sieht das Modell sie nie. Messen Sie beides mit Ihren eigenen Fragen.

**Auf dieser Seite**

1.  Wann ersetzt Long Context RAG?
2.  Wie vergleichen sich die Kosten pro Anfrage?
3.  Wie vergleicht sich die Latenz?
4.  Was hat den besseren Recall?
5.  Und die Wartung?
6.  Der hybride Ansatz, bei dem die meisten Teams landen
7.  Wo BroadNet Inference ins Bild passt

Der [Leitfaden zum Kontextfenster mit 1M Tokens](https://broadrouter.com/de/blog/million-token-context-window-guide/) behandelt, was in eine Million Tokens passt und was eine Anfrage kostet. Dieser Beitrag beantwortet eine engere Frage, die in jedem Architektur-Review aufkommt: **Können wir die [Vektordatenbank](https://broadrouter.com/de/glossary/vector-database/) und die [RAG](https://broadrouter.com/de/glossary/rag/)\-Pipeline drumherum löschen?** Manchmal ja. So entscheiden Sie, entlang von vier Achsen: Kosten, Latenz, Recall und Wartung.

## Wann ersetzt Long Context RAG?

Alle vier Bedingungen sollten zutreffen:

1.  **Der Korpus passt.** Prompt plus Antwort plus Reasoning bleibt mit Puffer im [Kontextfenster](https://broadrouter.com/de/glossary/context-window/). Bei [DeepSeek V4.1 Flash](https://broadrouter.com/de/models/deepseek-v4.1-flash/) und [GLM 5.3](https://broadrouter.com/de/models/glm-5.3/) umfasst das Fenster 1.048.576 Tokens ([die beiden im Vergleich](https://broadrouter.com/compare/deepseek-v4.1-flash-vs-glm-5.3/)). Der [Kontextfenster-Rechner](https://broadrouter.com/tools/context-window-calculator/) prüft, ob Ihre Dokumente hineinpassen.
2.  **Er ändert sich selten.** Ein Handbuch, das monatlich aktualisiert wird, ist in Ordnung. Eine Ticket-Warteschlange, die sich jede Minute ändert, nicht.
3.  **Alle dürfen alles sehen.** Ein gemeinsamer Korpus, keine Berechtigungen pro Nutzer, nach denen gefiltert werden muss.
4.  **Die Fragen umspannen den Korpus.** „Welche Verträge widersprechen der neuen Richtlinie?“ braucht alles im Blick; „Wie lange ist die Rückgabefrist?“ nicht.

Trifft eine Bedingung nicht zu, behalten Sie das Retrieval oder nutzen Sie einen hybriden Ansatz.

## Wie vergleichen sich die Kosten pro Anfrage?

Nehmen Sie einen Dokumentenbestand mit 400.000 Tokens und eine Frage mit einer Antwort von 500 Tokens. RAG holt, sagen wir, 8.000 Tokens an Chunks. Mit einem [Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)\-Schlüssel und DeepSeek V4.1 Flash:

| Ansatz | Input pro Anfrage | Input-Kosten pro Anfrage |
| --- | --- | --- |
| Long Context, erste Anfrage | 400.000 neu | 0,4 × $0.175 |
| Long Context, Folgeanfrage, Präfix gecacht | etwa 400.000 gecacht | etwa 0,4 × $0.0055 |
| RAG | 8.000 neu | 0,008 × $0.175 |

Die Ausgabe ist in jedem Fall gleich: 500 Tokens × $0.52 pro 1M. (Jeder Faktor ist die Zahl der Tokens in Millionen mal dem Preis pro 1M.)

Daraus folgt dreierlei. Ohne Caching kostet Long Context beim Input pro Anfrage das 50-Fache von RAG, weil es 50-mal so viele Tokens sendet. Mit gecachtem Korpus schrumpft die Lücke deutlich, denn gecachter Input kostet bei diesem Modell nur wenige Prozent von neuem Input. Caching hält aber nur, solange das Präfix byte-identisch bleibt; der Korpus muss also zuerst kommen und stabil bleiben, siehe [Prompt-Struktur für Caching](https://broadrouter.com/de/blog/prompt-structure-for-caching/). RAG hat eigene Kosten, die diese Tabelle auslässt: das Embedding des Korpus, den Betrieb des Vektorspeichers und die Entwicklungszeit für das Feintuning des Chunkings. Der [Embedding-Kostenrechner](https://broadrouter.com/tools/embedding-cost-calculator/) beziffert den Embedding-Teil. Der [RAG-Chunking-Rechner](https://broadrouter.com/tools/rag-chunking-calculator/) beziffert die Anfrageseite: Chunks, Tokens pro Anfrage und die monatliche LLM-Rechnung.

Was Ihre eigene Cache-Quote wert ist, zeigt der [Prompt-Caching-Rechner](https://broadrouter.com/tools/prompt-caching-calculator/). Bei einem Pauschalplan entfällt die Input-Spalte: Full Moon kostet $60 pro Monat und Session ohne Token-Zähler, ein Prompt mit 400.000 Tokens kostet also dasselbe wie ein kurzer.

## Wie vergleicht sich die Latenz?

Ein Modell liest den ganzen Prompt, bevor es das erste Token schreibt. Die Time to First Token wächst mit der Prompt-Länge, und ein Prompt mit Hunderttausenden Tokens braucht spürbar länger bis zum Start als einer mit 8.000. Gecachte Präfixe helfen in vielen Serving-Systemen. Die Vektorsuche selbst fügt meist wenig hinzu; der Retrieval-Aufruf ist klein im Vergleich zur Generierung.

Für einen interaktiven Assistenten, der in ein bis zwei Sekunden antworten muss, ist RAG also der sicherere Standard. Für eine Analystin, die eine tiefgehende Frage stellt und auf die Antwort wartet, ist Long Context in Ordnung. [Messen Sie die TTFT mit Ihren eigenen Prompts](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/) in der Größe, die Sie senden wollen.

## Was hat den besseren Recall?

Keines ist perfekt, und sie scheitern auf unterschiedliche Weise.

**Long Context** kann Fakten in der Mitte verlieren ([Lost in the Middle](https://broadrouter.com/de/glossary/lost-in-the-middle/)). Die Studie _Lost in the Middle_ stellte fest, dass Modelle Informationen am besten nutzten, wenn sie am Anfang oder Ende der Eingabe standen, und schlechter dazwischen. Der Benchmark RULER fand, dass Modelle, die bei einfachen Needle-in-a-Haystack-Tests fast perfekt abschneiden, bei schwierigeren Aufgaben mit wachsender Eingabe nachließen, und dass von den Modellen, die 32K Tokens oder mehr beanspruchen, „only half of them“ (Übersetzung: „nur die Hälfte“) bei 32K eine zufriedenstellende Leistung hielten. Neuere Modelle schneiden besser ab, aber das beworbene Fenster ist nicht dasselbe wie das Fenster, in dem die Qualität hält.

**RAG** scheitert, bevor das Modell startet: Verfehlt der Retriever die Passage, sieht das Modell sie nie. Fragen, die viele Passagen brauchen oder andere Wörter verwenden als die Quelle, sind die klassischen Fehltreffer.

| Fehlerart | Long Context | RAG |
| --- | --- | --- |
| Fakt mitten im Prompt vergraben | Risiko wächst mit der Länge | Gering, der Prompt ist kurz |
| Antwort braucht 20 verstreute Passagen | Stark | Schwach, außer bei großem top-k |
| Wortlaut der Anfrage weicht von der Quelle ab | Stark | Hängt von Embeddings und Reranking ab |
| Korpus größer als das Fenster | Nicht möglich | Stark |

Zwei Gegenmittel für Long Context: Stellen Sie die Frage ans Ende, nach den Dokumenten, und bitten Sie das Modell, die Zeilen zu zitieren, auf die es sich stützt.

## Und die Wartung?

RAG ist ein System: Chunking, Embeddings, ein Index, Neuindexierung bei Änderungen, Berechtigungsfilter, Bewertung der Retrieval-Qualität. Long Context ist ein Prompt: Dateien mit klaren Beschriftungen aneinanderhängen und senden. Für ein kleines Team mit einem Korpus, der hineinpasst, spart das Löschen der Pipeline echte Arbeit. Bei einem großen, sich ändernden Korpus mit Berechtigungen erledigt die Pipeline eine Aufgabe, die Long Context nicht leisten kann.

## Der hybride Ansatz, bei dem die meisten Teams landen

1.  Suchen Sie großzügig, nicht fünf Chunks, sondern ganze Dokumente, bis zu einigen Hunderttausend [Tokens](https://broadrouter.com/de/glossary/token/).
2.  Ordnen Sie sie stabil (nach Dokument-ID, nicht nach Score), damit das Präfix über verwandte Fragen hinweg gecacht wird.
3.  Stellen Sie die Frage ans Ende und senden Sie alles an ein Long-Context-Modell.
4.  Fordern Sie Zitate mit Verweis auf die Dokumentbeschriftungen an und prüfen Sie diese stichprobenartig.

So behalten Sie die Reichweite von RAG über einen riesigen Korpus und die Fähigkeit von Long Context, über viele Quellen hinweg zu schlussfolgern. Der Ansatz verzeiht auch einen schwächeren Retriever, weil ein knapp verfehltes Dokument trotzdem im Prompt steht.

## Wo BroadNet Inference ins Bild passt

BroadNet Inference bietet zwei Modelle mit 1M Tokens, DeepSeek V4.1 Flash und GLM 5.3, und kürzt Ihren Kontext nicht. Eine zu große Anfrage scheitert also, statt still Dokumente zu verlieren. Gecachter Input wird bei einem Schlüssel mit Abrechnung pro Token zum niedrigeren Cache-Preis berechnet, und die unbegrenzten Pläne schaffen den Token-Zähler für DeepSeek V4.1 Flash ganz ab. Die API-Referenz listet Chat Completions und Transkription, keinen Embeddings-Endpoint und keinen Vektorspeicher; für die RAG-Hälfte bringen Sie also Ihre eigenen Komponenten mit. Lassen Sie im Fenster Platz für [Reasoning-Tokens](https://broadrouter.com/de/glossary/reasoning-tokens/); der [Leitfaden zu Reasoning](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/) erklärt, warum. Die Preise stehen auf der [Preisseite](https://broadrouter.com/de/pricing/).

Kostenlose Tools zum Thema (auf Englisch)

-   [OpenAI to BroadNet migration helper](https://broadrouter.com/tools/openai-to-broadnet-migration/) Paste OpenAI SDK code; get base URL, key and model edits, a diff and the checks that remain.
-   [max\_tokens calculator for reasoning models](https://broadrouter.com/tools/reasoning-token-budget/) Answer length + reasoning budget + margin = a max\_tokens that does not cut the answer off.
-   [JSON schema generator for LLM structured output](https://broadrouter.com/tools/json-schema-generator/) Sample JSON to strict schema, Pydantic, Zod and a ready request.
-   [LLM JSON output validator](https://broadrouter.com/tools/llm-json-output-validator/) Parse errors by line and column, safe repairs, cut-off detection and JSON Schema checks for model output.

[Kostenlose Tools (auf Englisch)](https://broadrouter.com/tools/)

## Begriffe in diesem Artikel

[Token](https://broadrouter.com/de/glossary/token/)

Ein Token ist die Texteinheit, die ein Sprachmodell liest und schreibt: ein Wort, ein Wortteil, ein Satzzeichen oder eine Bytefolge, die der Tokenizer des Modells erzeugt. LLM-APIs zählen, begrenzen und berechnen die Nutzung meist in Tokens.

[RAG (Retrieval-Augmented Generation)](https://broadrouter.com/de/glossary/rag/)

RAG (Retrieval-Augmented Generation) ist ein Muster, bei dem eine Anwendung zuerst zur Frage passende Abschnitte aus einem externen Speicher abruft, etwa einem Such- oder Vektorindex, und sie dann in den Prompt einfügt, damit ein Sprachmodell aus diesem Text antwortet statt nur aus seinem Gedächtnis.

[Tool Calling (Function Calling)](https://broadrouter.com/de/glossary/tool-calling/)

Tool Calling, auch Function Calling genannt, ist eine Funktion von LLM-APIs, bei der das Modell eine strukturierte Anfrage zurückgibt, eine vom Entwickler definierte Funktion mit JSON-Argumenten auszuführen. Die Anwendung führt die Funktion aus und sendet das Ergebnis zurück; das Modell selbst führt nie Code aus.

[Lost in the Middle](https://broadrouter.com/de/glossary/lost-in-the-middle/)

Lost in the Middle bezeichnet die beobachtete Neigung von Sprachmodellen, relevante Informationen am besten zu nutzen, wenn sie nahe am Anfang oder Ende einer langen Eingabe stehen, und am schlechtesten, wenn sie in der Mitte liegen. Benannt wurde der Effekt 2023 in einer Studie von Liu et al.

[Pay-as-you-go](https://broadrouter.com/de/glossary/pay-as-you-go/)

Pay-as-you-go ist ein Preismodell, bei dem Sie nur für tatsächliche Nutzung zahlen, gemessen pro Einheit wie Tokens, Anfragen oder Audiominuten, ohne Abonnement oder Mindestabnahme. Die meisten LLM-APIs rechnen so ab, aus einem vorausbezahlten Guthaben oder per regelmäßiger Rechnung.

[Vektordatenbank (vector database)](https://broadrouter.com/de/glossary/vector-database/)

Eine Vektordatenbank ist ein Datenspeicher für Embedding-Vektoren, oft zusammen mit Quelltext und Metadaten, der Nearest-Neighbour-Abfragen beantwortet: Zu einem Anfragevektor liefert sie die ähnlichsten gespeicherten Vektoren, meist nach Kosinus-Distanz, euklidischer Distanz oder Skalarprodukt.

[Chunking (RAG)](https://broadrouter.com/de/glossary/chunking/)

Chunking ist der Schritt in einer Retrieval-Pipeline, der Dokumente in kleinere Stücke, sogenannte Chunks, zerlegt, bevor sie eingebettet und indexiert werden. Die Chunk-Größe legt fest, wie viel Text jedes Stück enthält, und der Chunk-Overlap wiederholt etwas Text zwischen benachbarten Chunks, damit an einer Grenze zerschnittene Gedanken nicht verloren gehen.

[Embeddings](https://broadrouter.com/de/glossary/embeddings/)

Embeddings sind Listen von Gleitkommazahlen (Vektoren), die ein Modell erzeugt, um einen Text, ein Bild oder einen anderen Input darzustellen. Inputs mit ähnlicher Bedeutung erhalten nah beieinanderliegende Vektoren; über den Abstand lassen sich Suchergebnisse ranken, Dokumente clustern oder verwandte Elemente finden.

## Häufige Fragen

### Ist RAG tot, jetzt wo Modelle Kontextfenster mit 1M Tokens haben?

Nein. Long Context macht Retrieval überflüssig, wenn der ganze Korpus hineinpasst und stabil ist. Die meisten Wissensdatenbanken in Unternehmen sind größer als eine Million Tokens, ändern sich täglich und brauchen Berechtigungen. Das bleibt das Terrain von RAG.

### Ist Long Context genauer als RAG?

Das hängt von der Frage ab. Long Context schneidet besser ab, wenn die Antwort viele Passagen kombinieren muss. RAG kann bei der Suche nach einem einzelnen Fakt in riesigen Korpora besser sein, weil ein kurzer Prompt das Modell fokussiert hält. Testen Sie beides mit echten Fragen.

### Wie viele Wörter passen in ein Kontextfenster mit 1 Million Tokens?

Etwa 810,000 Wörter englischer Fließtext im Fenster von DeepSeek V4.1 Flash mit 1.048.576 Tokens, bei 1,290 Tokens pro 1.000 Wörter, gemessen über fünf Tokenizer im Tokenizer-Datensatz von BroadRouter. Technisches Englisch, Code, Tabellen und Arabisch brauchen mehr Tokens pro Wort, es passt also weniger hinein. Lassen Sie Platz für Antwort und Reasoning.

### Kann ich RAG und Long Context kombinieren?

Ja, und das ist oft die beste Option. Suchen Sie großzügig, zum Beispiel 100.000 bis 200.000 Tokens an Kandidaten-Dokumenten, und lassen Sie dann ein Long-Context-Modell über alle schlussfolgern statt nur über die fünf besten Chunks.

## Weiterlesen

-   [Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)](https://broadrouter.com/de/blog/million-token-context-window-guide/)
-   [Prompts so strukturieren, dass das Präfix gecacht wird](https://broadrouter.com/de/blog/prompt-structure-for-caching/)
-   [Gecachte Input-Tokens: So senken Sie die Rechnung Ihrer LLM-API](https://broadrouter.com/de/blog/cached-input-tokens-explained/)
-   [LLM-Latenz: TTFT vs. Tokens pro Sekunde vs. End-to-End-Zeit](https://broadrouter.com/de/blog/llm-latency-ttft-throughput/)
-   [GPU-Hardware und Serving von BroadNet, wie BroadNet sie beschreibt](https://broadrouter.com/de/blog/broadnet-gpu-fleet-and-serving/)
-   [LLM-Antworten cachen, Kosten senken: ein Exact-Match-Cache in Python](https://broadrouter.com/de/blog/cache-llm-responses-cut-cost/)
-   [Anleitung: Warum ein Reasoning-Modell eine leere Antwort liefert](https://broadrouter.com/de/guides/reasoning-tokens-empty-response/)

Testen Sie es mit Ihrem echten Workload. Neue Konten starten mit USD 5 Guthaben für Gemma und Transkription. DeepSeek, GLM und Qwen3.8 erfordern eine Aufladung.

[Loslegen](https://inference.broadnet.ai/account/?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-context-vs-rag&utm_content=page-cta) ·

**Quellen**

-   [Liu et al., Lost in the Middle - How Language Models Use Long Contexts (arXiv 2307.03172)](https://arxiv.org/abs/2307.03172)
-   [Hsieh et al., RULER - What's the Real Context Size of Your Long-Context Language Models? (arXiv 2404.06654)](https://arxiv.org/abs/2404.06654)
-   [Maschinenlesbare Preise und Kontextlängen von BroadNet Inference (pricing.json) (auf Englisch)](https://inference.broadnet.ai/pricing.json?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-context-vs-rag&utm_content=sources)
-   [API-Referenz von BroadNet Inference (auf Englisch)](https://inference.broadnet.ai/docs?utm_source=broadrouter&utm_medium=referral&utm_campaign=de-blog-long-context-vs-rag&utm_content=sources)
