BroadRouter

Wann sich ein Kontextfenster mit 1M Tokens lohnt (und wann nicht)

Vom Team von BroadNet Inference · 4 Min. Lesezeit · Veröffentlicht

Ein Kontextfenster mit 1M Tokens erlaubt es, in einer Anfrage eine ganze Codebasis, ein Vertragswerk oder stundenlange Transkripte unterzubringen, sodass das Modell alles auf einmal sieht statt abgerufener Fragmente. Das lohnt sich für dateiübergreifendes Schlussfolgern und einmalige Analysen; für wiederholte Abfragen über einen großen, sich ändernden Korpus ist Retrieval günstiger. DeepSeek V4.1 Flash und GLM 5.3 akzeptieren 1.048.576 Tokens.

Light shining through towering cliffs made of stacked paper pages.

Kontextfenster sind von wenigen Tausend Tokens auf über eine Million gewachsen. DeepSeek V4.1 Flash und GLM 5.3 akzeptieren bei BroadNet Inference 1.048.576 Tokens pro Anfrage, Prompt und Antwort zusammen. Das verändert, wie Sie bauen können, macht aber nicht jeden Prompt besser.

Was passt in eine Million Tokens?

Als grobe Orientierung: 1.000 Wörter englischer Fließtext ergaben in unserem Datensatz zur Tokenizer-Effizienz etwa 1,290 Tokens, gemittelt über fünf Tokenizer. Eine Million Tokens sind also grob 810,000 Wörter einfacher Fließtext:

Inhalt Ungefähr
Eine mittelgroße Codebasis (Zehntausende Zeilen) Passt, mit Luft
Mehrere lange Verträge mit Anlagen Passt
Einen Tag an Meeting-Transkripten Passt
Ein großes Monorepo mit Abhängigkeiten Oft nicht; Verzeichnisse auswählen

Die Token-Zahl hängt von Sprache und Inhalt ab. Code und arabischer Text brauchen oft mehr Tokens pro Zeichen als englischer Fließtext. Messen Sie mit dem usage-Block einer echten Anfrage, statt zu schätzen, oder prüfen Sie eine Stichprobe im Kontextfenster-Rechner.

Welche BroadNet-Modelle haben ein Kontextfenster mit 1M Tokens?

Modell Kontextfenster Input Output Bilder
DeepSeek V4.1 Flash 1.048.576 $0.175 $0.52 Ja
GLM 5.3 1.048.576 $0.78 $3.46 Nein
Qwen3.8 27B 262.144 $0.175 $2.17 Ja
BroadNet Gemma 4 VL 26B 32.768 $0.10 $0.22 Ja

Preise pro 1M Tokens. GLM 5.3 bietet auf demselben 1M-Fenster zusätzlich Tool Calling und strukturierte Ausgabe.

Wann lohnt sich ein Fenster mit 1M Tokens?

  • Dateiübergreifendes Schlussfolgern. „Warum schlägt dieser Test fehl?“ hängt oft von fünf Dateien ab, die niemand gemeinsam abrufen würde.
  • Prüfung ganzer Dokumente. Um Widersprüche zwischen Klausel 4 und Anlage B zu finden, müssen beide im Blick sein.
  • Einmalige Analysen. Für eine Frage, die Sie nur einmal stellen, kostet der Aufbau eines Retrieval-Index mehr Aufwand, als er spart.
  • Agenten. Ein Sub-Agent, der das ganze Modul lesen kann, rät seltener falsch. Siehe parallele Agenten betreiben.

Wann ist Retrieval weiterhin die bessere Wahl?

Retrieval gewinnt bei vielen kleinen Abfragen über eine Bibliothek, die weit größer ist als jedes Fenster, bei Inhalten, die sich jede Minute ändern, und bei schnellen interaktiven Antworten, bei denen das vorherige Lesen eines riesigen Prompts Verzögerung bringt. Viele Produktivsysteme machen beides: die relevantesten 200.000 Tokens abrufen und dann ein Long-Context-Modell über alle schlussfolgern lassen. Die vollständige Entscheidung, mit Kosten pro Anfrage, Latenz und Recall im direkten Vergleich, steht in Long Context vs. RAG.

Nutzt das Modell wirklich das ganze Fenster?

Nicht gleichmäßig. Die Forschung ist sich hier einig:

  • Die Studie Lost in the Middle (Liu et al.) fand, dass die Leistung „is often highest when relevant information occurs at the beginning or end of the input context“ (Übersetzung: „oft am höchsten ist, wenn relevante Information am Anfang oder Ende des Eingabekontexts steht“).
  • Der Bericht Context Rot von Chroma testete 18 Modelle und fand, dass „performance grows increasingly unreliable as input length grows“ (Übersetzung: „die Leistung mit wachsender Eingabelänge zunehmend unzuverlässig wird“), selbst bei einfachen Aufgaben.

Diese Studien haben die Modelle bei BroadNet nicht getestet; verstehen Sie sie also als Warnung, nicht als Messung. Die praktische Regel: Ein Fenster, das eine Million Tokens akzeptiert, bedeutet nicht, dass jedes Token gleich viel Aufmerksamkeit bekommt. Stellen Sie das wichtigste Material an den Anfang oder ans Ende und testen Sie den Recall mit Ihren eigenen Dokumenten.

Was kostet ein Prompt mit einer Million Tokens?

Mit einem Pay-as-you-go-Schlüssel berechnet DeepSeek V4.1 Flash $0.175 pro 1M Input-Tokens und $0.0055 pro 1M gecachte Input-Tokens. Ein voller Prompt mit einer Million Tokens kostet beim ersten Mal etwa $0.175 und bei wiederholten Aufrufen deutlich weniger, wenn das Präfix gecacht ist. So erhöhen Sie Ihre Cache-Quote.

Der Prompt-Caching-Rechner zeigt, wie viel ein Cache-Treffer bei Ihren eigenen Prompt-Größen spart. Ein Rechenbeispiel: zehn Fragen zum selben Vertragswerk mit 800.000 Tokens. Ohne Caching sind das 8M Tokens zu $0.175 pro 1M. Stehen die Dokumente am Anfang und bleiben identisch, liest der erste Aufruf 800.000 neue Tokens, und die nächsten neun können die meisten davon für $0.0055 pro 1M aus dem Cache lesen. Nur Frage und Antwort ändern sich.

Bei einem unbegrenzten Plan ändert die Größe des Prompts die Rechnung nicht: Full Moon kostet $60 pro Monat und Session ohne Token-Zähler. Deshalb sind Long-Context-Agenten ein häufiger Grund, einen Pauschalplan statt Abrechnung pro Token zu wählen.

Wie viel Platz sollten Sie für die Antwort lassen?

Das Fenster umfasst Prompt und Ausgabe, und bei Reasoning-Modellen enthält die Ausgabe das Thinking. Senden Sie 1.040.000 Tokens Prompt, bleiben nur etwa 8.000 für Reasoning und Antwort. Halten Sie einen Puffer, setzen Sie max_tokens explizit und lesen Sie, warum Reasoning-Modelle eine leere Antwort liefern können.

So bereiten Sie eine Codebasis für einen Prompt mit 1M Tokens vor

  1. Schließen Sie aus, was das Modell nicht braucht. Lock-Dateien, Build-Ausgaben, mitgelieferte Abhängigkeiten, Bilder und generierter Code kosten Tokens und erzeugen Rauschen.
  2. Zählen Sie vor dem Senden. Senden Sie eine kleine Stichprobe, lesen Sie prompt_tokens aus usage und rechnen Sie hoch.
  3. Ordnen Sie nach Stabilität. Selten geänderte Dateien zuerst, die gerade bearbeiteten Dateien zuletzt, die Frage ganz am Ende. So bleibt das Präfix cachebar.
  4. Beschriften Sie jede Datei. Umschließen Sie Dateien mit klaren Markierungen wie === path/to/file.py ===, damit das Modell sie zitieren kann.
  5. Fordern Sie Zitate an. „Zitiere die Zeile, auf die du dich stützt“ verringert selbstsichere Fehler bei riesigen Eingaben.
  6. Messen Sie. Loggen Sie pro Anfrage Prompt-Tokens, gecachte Tokens und Time to First Token. Streaming zeigt das erste Token, sobald es ankommt.

Wo BroadNet Inference ins Bild passt

Zwei der Chat-Modelle nehmen 1.048.576 Tokens pro Anfrage an, und BroadNet kürzt Ihren Kontext nicht. Mit einem Schlüssel mit Abrechnung pro Token hält Caching wiederholte lange Prompts bezahlbar; in einer Plan-Session wirkt sich die Prompt-Größe nicht auf die Rechnung aus. Ist Ihr Korpus weit größer als eine Million Tokens oder ändert er sich jede Minute, brauchen Sie weiterhin Retrieval, und daran ändert keine Fenstergröße etwas.

Häufige Fragen

Kürzt BroadNet lange Prompts?

Nein. BroadNet kürzt Ihren Kontext nicht. Übersteigt der Prompt plus max_tokens das Fenster des Modells, kürzen Sie den Prompt, statt sich auf stilles Abschneiden zu verlassen.

Wie viele Wörter sind 1 Million Tokens?

Das hängt von Sprache und Inhalt ab. Englischer Fließtext kam im Tokenizer-Datensatz von BroadRouter auf etwa 129 Tokens pro 100 Wörter (1.000 Wörter ergaben etwa 1,290 Tokens, gemittelt über fünf Tokenizer). 1.048.576 Tokens fassen also grob 810,000 Wörter, deutlich mehr als tausend Seiten. Fachtexte, Code und Arabisch brauchen mehr Tokens, zählen Sie also Ihre echten Inhalte.

Ist eine Anfrage mit 1M Tokens langsam?

Sie braucht länger bis zum Start als eine kurze Anfrage, weil das Modell zuerst den ganzen Prompt lesen muss. Gecachte Präfixe helfen bei wiederholten Aufrufen meist. Messen Sie die Time to First Token mit Ihren eigenen Prompts.

Nutzen LLMs wirklich das ganze Kontextfenster?

Nicht gleichmäßig. Die Studie Lost in the Middle fand, dass die Genauigkeit oft am höchsten ist, wenn die relevante Information am Anfang oder Ende der Eingabe steht, und der Bericht Context Rot von Chroma fand, dass die Zuverlässigkeit mit wachsender Eingabelänge sinkt. Platzieren Sie Wichtiges an den Rändern und testen Sie mit Ihren eigenen Daten.

Sollte ich aufhören, RAG zu nutzen?

Nicht unbedingt. Nutzen Sie Long Context, wenn das Modell alles zusammen sehen muss, und Retrieval, wenn es ein paar Fakten aus einer riesigen Bibliothek braucht. Viele Systeme kombinieren beides.

Was passiert, wenn mein Prompt größer ist als das Kontextfenster?

BroadNet kürzt ihn nicht für Sie, die Anfrage läuft also nicht wie gedacht. Entfernen Sie Dateien, fassen Sie alte Gesprächszüge zusammen oder rufen Sie vor dem Senden nur die relevanten Teile ab.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen