BroadRouter

max_tokens

Aktualisiert

max_tokens ist ein Parameter von LLM-APIs, der festlegt, wie viele Tokens ein Modell in einer Antwort höchstens erzeugen darf. Erreicht die Generierung das Limit, bricht sie ab, und die Antwort wird als abgeschnitten markiert, zum Beispiel mit finish_reason „length“.

Auch genannt: max_tokens, Output-Limit, maximale Output-Länge, Token-Limit für die Antwort, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens ist das Output-Budget für eine Antwort. Es schützt Sie vor ausufernden Antworten, aber zu niedrig gesetzt schneidet es Antworten ab oder liefert gar nichts.

So funktioniert es

Das Modell erzeugt ein Token nach dem anderen. Erreicht die Zahl max_tokens, stoppt die Generierung, auch mitten im Satz. Die Antwort gibt dann an, warum sie endete:

finish_reason Bedeutung
stop Das Modell ist von selbst fertig geworden
length Das Limit max_tokens wurde erreicht
tool_calls Das Modell möchte ein Tool aufrufen

Der Parameter hat mehrere Namen. Die Chat Completions API von OpenAI markiert max_tokens inzwischen als veraltet, zugunsten von max_completion_tokens, einer Obergrenze, die sichtbaren Output und Reasoning-Tokens umfasst. Die Responses API von OpenAI nutzt max_output_tokens. Die Messages API von Anthropic nutzt max_tokens. Viele OpenAI-kompatible Anbieter akzeptieren max_tokens.

Prompt und Output teilen sich ein Kontextfenster. Hat das Fenster 32.768 Tokens und der Prompt 30.000, können höchstens 2.768 Tokens zurückkommen, egal was in max_tokens steht.

Warum es wichtig ist

  • Kostenkontrolle. Bei einem Schlüssel mit Abrechnung pro Token ist max_tokens das Maximum, das eine einzelne Antwort an Output kosten kann.
  • Leere Antworten. Bei Reasoning-Modellen geht das Nachdenken vom selben Budget ab. Ein Limit von 100 kann vollständig für Reasoning-Tokens draufgehen; die sichtbare Antwort ist dann leer, und finish_reason ist length.
  • Kaputtes JSON. Eine abgeschnittene Antwort hinterlässt unvollständige strukturierte Ausgabe, die sich nicht parsen lässt. Prüfen Sie finish_reason, bevor Sie parsen.

Bei BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und laut BroadNet-Dokumentation zählt das Reasoning zu max_tokens. Planen Sie 1.000 Tokens oder mehr ein, lassen Sie den Parameter weg oder senken Sie reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

Die Kontextgrößen unterscheiden sich je nach Modell: 1.048.576 Tokens bei DeepSeek V4.1 Flash und GLM 5.3, 262.144 bei Qwen3.8 27B und 32.768 bei BroadNet Gemma 4 VL 26B. Siehe die Modellseiten und warum Reasoning-Modelle leere Antworten liefern.

Häufige Fehler

  • Bei einer Migration ein kleines Limit von einem Modell ohne Reasoning übernehmen. Siehe die Migrations-Checkliste.
  • length als Erfolg werten. Loggen Sie den Fall und versuchen Sie es mit mehr Platz erneut.

Häufige Fragen

Ist max_tokens dasselbe wie das Kontextfenster?

Nein. Das Kontextfenster ist die Gesamtmenge, die das Modell verarbeiten kann, Prompt plus Output. max_tokens begrenzt nur den Output, und Prompt plus max_tokens müssen trotzdem ins Fenster passen.

Sollte ich max_tokens immer setzen?

Setzen Sie den Wert, wenn Sie eine harte Obergrenze für Kosten oder Länge brauchen. Lassen Sie bei Reasoning-Modellen großzügig Platz oder setzen Sie ihn gar nicht, wenn der Standardwert des Anbieters groß genug ist.

Was ist der Unterschied zwischen max_tokens und max_completion_tokens?

OpenAI hat max_tokens bei Chat Completions zugunsten von max_completion_tokens als veraltet markiert; dieser Parameter schließt Reasoning-Tokens ausdrücklich ein. Viele OpenAI-kompatible Anbieter akzeptieren weiterhin max_tokens.

Als Markdown lesenChatGPT fragenClaude fragenPerplexity fragen