Sie senden einen kurzen Prompt mit max_tokens: 100, die Anfrage ist erfolgreich, und choices[0].message.content ist leer. Kaputt ist nichts: Die Antwort hat nur nie begonnen.
Was passiert
Reasoning-Modelle schreiben vor der sichtbaren Antwort eine verborgene Gedankenkette. Beide teilen sich ein gemeinsames max_tokens-Budget. Bei einem kleinen Limit verbraucht das Reasoning alles, und im Standardformat für Chat Completions ist finish_reason dann length.
Drei Lösungen
1. Platz lassen. Setzen Sie max_tokens auf 1.000 oder mehr, wie es die BroadNet-Dokumentation empfiehlt. Der max_tokens-Rechner für Reasoning-Modelle bemisst das Limit für Ihre Antwortlänge und zeigt die Kosten.
2. Weniger nachdenken. Setzen Sie reasoning_effort für einfache Aufgaben auf low:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Die Usage im Blick behalten. Wenn das Modell den Wert meldet, zeigt usage.completion_tokens_details.reasoning_tokens, wie viel ins Reasoning geflossen ist:
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
Ergänzen Sie im Stream stream_options={"include_usage": True}; dieselbe Usage kommt dann im letzten Chunk an. Siehe Streaming von Chat Completions.
Welche Modelle Reasoning nutzen
| Modell | Denkt zuerst nach |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Ja |
GLM 5.3 (broadnet/glm-5.3) |
Ja |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Ja |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Nicht aufgeführt |
Fehlerbehebung
- Leerer
content,finish_reasonistlength. Erhöhen Siemax_tokensoder setzen Siereasoning_effortauflow. - Leerer
content,finish_reasoniststop. Das Limit war nicht die Ursache. Prüfen Sie Ihren Prompt und geben Sie die vollständige Antwort aus, um zu sehen, was zurückkam. AttributeErrorbeicompletion_tokens_details. Das Modell hat die Aufschlüsselung für diese Anfrage nicht gemeldet; fangen SieNoneab wie im Beispiel oben.- Langsames erstes Token im Stream. Das Modell denkt nach, bevor es die Antwort schreibt. Ein niedrigeres
reasoning_effortkann die Wartezeit verkürzen.
Wenn Sie den ganzen Tag Agenten laufen lassen, summieren sich Reasoning-Tokens bei Pay-as-you-go. Der BroadNet-Preisrechner zeigt, ab wann ein unbegrenzter Plan zum Festpreis günstiger ist.
