Das Kontextfenster ist das Arbeitsgedächtnis eines Modells für eine Anfrage. Alles, was das Modell sehen muss, und alles, was es zurückschreibt, muss hineinpassen.
So funktioniert es
Das Fenster wird in Tokens gemessen. Die Dokumentation von Anthropic beschreibt es als „all the text a language model can reference when generating a response, including the response itself“ (Übersetzung: „der gesamte Text, auf den ein Sprachmodell beim Erzeugen einer Antwort zugreifen kann, einschließlich der Antwort selbst“). Dazu gehören:
- der System-Prompt und jede Nachricht, auch frühere Runden;
- Tool-Definitionen und Tool-Ergebnisse;
- Dokumente und Bilder;
- der Output, einschließlich versteckter Reasoning-Tokens.
Das Budget ist also geteilt. Bei einem Fenster von 1.048.576 Tokens bleiben nach einem Prompt von 1.040.000 Tokens etwa 8.000 Tokens für Reasoning und Antwort. Setzen Sie max_tokens entsprechend.
Das Modell erinnert sich nicht an frühere Anfragen. Ein Chat wirkt nur deshalb durchgehend, weil der Client in jeder Runde den Verlauf erneut sendet. Ein langes Gespräch füllt das Fenster also Schritt für Schritt.
Warum es wichtig ist
- Leistungsfähigkeit. Ein großes Fenster fasst in einer Anfrage eine ganze Codebasis, ein Vertragswerk oder stundenlange Transkripte, sodass das Modell Fakten darüber hinweg verknüpfen kann.
- Kosten. Bei einem Schlüssel mit Abrechnung pro Token wird jedes Token im Fenster als Input berechnet. Caching senkt den Preis wiederholter Präfixe, aber gecachte Tokens belegen das Fenster trotzdem.
- Qualität. Mehr ist nicht immer besser. Anthropic nennt den Genauigkeitsverlust bei sehr langen Prompts „context rot“. Wählen Sie gezielt aus, was Sie senden.
- Latenz. Bei langen Prompts dauert es länger, bis das erste Token erscheint.
Bei BroadNet Inference
| Modell | Kontextfenster |
|---|---|
| DeepSeek V4.1 Flash | 1.048.576 Tokens |
| GLM 5.3 | 1.048.576 Tokens |
| Qwen3.8 27B | 262.144 Tokens |
| BroadNet Gemma 4 VL 26B | 32.768 Tokens |
Das Fenster umfasst Prompt und Antwort zusammen, und BroadNet kürzt Ihren Kontext nicht. DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach (Reasoning). Lassen Sie also Platz: Ein volles Fenster mit kleinem Output-Budget liefert eine leere Antwort. Siehe warum Reasoning-Modelle leere Antworten liefern.
Die unbegrenzten Pläne enthalten das volle Fenster von 1M Tokens bei DeepSeek V4.1 Flash. Wann so viel Kontext besser ist als Retrieval, lesen Sie im Leitfaden zum Kontextfenster mit 1M Tokens.
Häufige Fehler
- Das Fenster mit der Output-Länge verwechseln. Output-Limits setzen Sie separat mit
max_tokens. - Den vollständigen Verlauf endlos neu senden. Fassen Sie alte Runden zusammen oder lassen Sie sie weg, bevor das Fenster voll ist.