max_tokens est le budget de sortie d’une réponse. Il vous protège des réponses qui s’emballent, mais réglé trop bas, il coupe les réponses ou ne renvoie rien du tout.
Comment ça marche
Le modèle génère un token à la fois. Quand le compte atteint max_tokens, la génération s’arrête, même en pleine phrase. La réponse indique alors pourquoi elle s’est terminée :
finish_reason |
Signification |
|---|---|
stop |
Le modèle a terminé de lui-même |
length |
La limite max_tokens a été atteinte |
tool_calls |
Le modèle demande à appeler un outil |
Le paramètre porte plusieurs noms. L’API Chat Completions d’OpenAI marque désormais max_tokens comme obsolète au profit de max_completion_tokens, une borne supérieure qui inclut la sortie visible et les tokens de raisonnement. La Responses API d’OpenAI utilise max_output_tokens. La Messages API d’Anthropic utilise max_tokens. De nombreux fournisseurs compatibles OpenAI acceptent max_tokens.
Le prompt et la sortie partagent une même fenêtre de contexte. Si la fenêtre fait 32 768 tokens et le prompt 30 000, au plus 2 768 tokens peuvent revenir, quelle que soit la valeur de max_tokens.
Pourquoi c’est important
- Maîtrise des coûts. Avec une clé facturée au token,
max_tokensest le coût de sortie maximal d’une seule réponse. - Réponses vides. Sur les modèles de raisonnement, la réflexion puise dans le même budget. Une limite de 100 peut être entièrement consommée par les tokens de raisonnement : la réponse visible est alors vide et
finish_reasonvautlength. - JSON cassé. Une réponse coupée laisse une sortie structurée incomplète et impossible à parser. Vérifiez
finish_reasonavant de parser.
Sur BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 et Qwen3.8 27B raisonnent avant de répondre, et la documentation de BroadNet précise que le raisonnement compte dans max_tokens. Prévoyez 1 000 tokens ou plus, ne le définissez pas, ou baissez reasoning_effort :
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
Les tailles de contexte varient selon le modèle : 1 048 576 tokens pour DeepSeek V4.1 Flash et GLM 5.3, 262 144 pour Qwen3.8 27B et 32 768 pour BroadNet Gemma 4 VL 26B. Voir les pages des modèles et pourquoi les modèles de raisonnement renvoient des réponses vides.
Erreurs fréquentes
- Reprendre, lors d’une migration, une petite limite conçue pour un modèle sans raisonnement. Voir la checklist de migration.
- Considérer
lengthcomme un succès. Journalisez-le et réessayez avec plus de marge.