max_tokens ist das Output-Budget für eine Antwort. Es schützt Sie vor ausufernden Antworten, aber zu niedrig gesetzt schneidet es Antworten ab oder liefert gar nichts.
So funktioniert es
Das Modell erzeugt ein Token nach dem anderen. Erreicht die Zahl max_tokens, stoppt die Generierung, auch mitten im Satz. Die Antwort gibt dann an, warum sie endete:
finish_reason |
Bedeutung |
|---|---|
stop |
Das Modell ist von selbst fertig geworden |
length |
Das Limit max_tokens wurde erreicht |
tool_calls |
Das Modell möchte ein Tool aufrufen |
Der Parameter hat mehrere Namen. Die Chat Completions API von OpenAI markiert max_tokens inzwischen als veraltet, zugunsten von max_completion_tokens, einer Obergrenze, die sichtbaren Output und Reasoning-Tokens umfasst. Die Responses API von OpenAI nutzt max_output_tokens. Die Messages API von Anthropic nutzt max_tokens. Viele OpenAI-kompatible Anbieter akzeptieren max_tokens.
Prompt und Output teilen sich ein Kontextfenster. Hat das Fenster 32.768 Tokens und der Prompt 30.000, können höchstens 2.768 Tokens zurückkommen, egal was in max_tokens steht.
Warum es wichtig ist
- Kostenkontrolle. Bei einem Schlüssel mit Abrechnung pro Token ist
max_tokensdas Maximum, das eine einzelne Antwort an Output kosten kann. - Leere Antworten. Bei Reasoning-Modellen geht das Nachdenken vom selben Budget ab. Ein Limit von 100 kann vollständig für Reasoning-Tokens draufgehen; die sichtbare Antwort ist dann leer, und
finish_reasonistlength. - Kaputtes JSON. Eine abgeschnittene Antwort hinterlässt unvollständige strukturierte Ausgabe, die sich nicht parsen lässt. Prüfen Sie
finish_reason, bevor Sie parsen.
Bei BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 und Qwen3.8 27B denken vor der Antwort nach, und laut BroadNet-Dokumentation zählt das Reasoning zu max_tokens. Planen Sie 1.000 Tokens oder mehr ein, lassen Sie den Parameter weg oder senken Sie reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Die Kontextgrößen unterscheiden sich je nach Modell: 1.048.576 Tokens bei DeepSeek V4.1 Flash und GLM 5.3, 262.144 bei Qwen3.8 27B und 32.768 bei BroadNet Gemma 4 VL 26B. Siehe die Modellseiten und warum Reasoning-Modelle leere Antworten liefern.
Häufige Fehler
- Bei einer Migration ein kleines Limit von einem Modell ohne Reasoning übernehmen. Siehe die Migrations-Checkliste.
lengthals Erfolg werten. Loggen Sie den Fall und versuchen Sie es mit mehr Platz erneut.