Vous envoyez un prompt court avec max_tokens: 100, la requête réussit, et choices[0].message.content est vide. Rien n’est cassé : la réponse n’a simplement jamais commencé.
Ce qui se passe
Les modèles de raisonnement écrivent une chaîne de pensée cachée avant la réponse visible. Les deux partagent un même budget max_tokens. Avec une limite basse, le raisonnement consomme tout, et dans le format standard des chat completions, finish_reason vaut alors length.
Trois solutions
1. Laisser de la marge. Réglez max_tokens sur 1 000 ou plus, comme le conseille la documentation de BroadNet. Le calculateur de max_tokens pour modèles de raisonnement dimensionne la limite selon la longueur de votre réponse et affiche le coût.
2. Raisonner moins. Réglez reasoning_effort sur low pour les tâches simples :
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
response = client.chat.completions.create(
model="broadnet/deepseek-v4.1-flash",
reasoning_effort="low",
max_tokens=1000,
messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)
3. Surveiller l’usage. Quand le modèle le renvoie, usage.completion_tokens_details.reasoning_tokens indique la part consacrée au raisonnement :
print(response.choices[0].finish_reason) # "length" means the budget ran out
details = response.usage.completion_tokens_details # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")
En streaming, ajoutez stream_options={"include_usage": True} : le même usage arrive dans le dernier chunk. Voir le streaming des chat completions.
Quels modèles raisonnent
| Modèle | Raisonne d’abord |
|---|---|
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) |
Oui |
GLM 5.3 (broadnet/glm-5.3) |
Oui |
Qwen3.8 27B (broadnet/qwen3.8-27b) |
Oui |
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) |
Non indiqué |
Dépannage
contentvide,finish_reasonvautlength. Augmentezmax_tokensou réglezreasoning_effortsurlow.contentvide,finish_reasonvautstop. La limite n’était pas en cause. Vérifiez votre prompt et affichez la réponse complète pour voir ce qui est revenu.AttributeErrorsurcompletion_tokens_details. Le modèle n’a pas renvoyé le détail pour cette requête ; prévoyez le casNonecomme dans l’exemple ci-dessus.- Un premier token lent en streaming. Le modèle raisonne avant d’écrire la réponse. Un
reasoning_effortplus bas peut raccourcir l’attente.
Si vous faites tourner des agents toute la journée, les tokens de raisonnement s’accumulent à l’usage. Le calculateur de prix BroadNet montre à partir de quand un forfait illimité à prix fixe revient moins cher.
