max_tokens es el presupuesto de salida de una respuesta. Lo protege de respuestas desbocadas, pero si es demasiado bajo corta las respuestas o no devuelve nada.
Cómo funciona
El modelo genera un token a la vez. Cuando la cuenta llega a max_tokens, la generación se detiene, aunque sea a mitad de frase. La respuesta indica entonces por qué terminó:
finish_reason |
Significado |
|---|---|
stop |
El modelo terminó por su cuenta |
length |
Se alcanzó el límite de max_tokens |
tool_calls |
El modelo pide llamar a una herramienta |
El parámetro tiene varios nombres. La API de Chat Completions de OpenAI marca ahora max_tokens como obsoleto en favor de max_completion_tokens, un límite superior que incluye tanto la salida visible como los tokens de razonamiento. La Responses API de OpenAI usa max_output_tokens. La Messages API de Anthropic usa max_tokens. Muchos proveedores compatibles con OpenAI aceptan max_tokens.
El prompt y la salida comparten una misma ventana de contexto. Si la ventana es de 32,768 tokens y el prompt ocupa 30,000, como máximo pueden volver 2,768 tokens, diga lo que diga max_tokens.
Por qué importa
- Control de costos. En una clave que cobra por token,
max_tokenses lo máximo que puede costar una sola respuesta en salida. - Respuestas vacías. En los modelos de razonamiento, el pensamiento sale del mismo presupuesto. Un límite de 100 puede gastarse entero en tokens de razonamiento, de modo que la respuesta visible queda vacía y
finish_reasoneslength. - JSON roto. Una respuesta cortada deja la salida estructurada incompleta e imposible de parsear. Revise
finish_reasonantes de parsear.
En BroadNet Inference
DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y la documentación de BroadNet indica que el razonamiento cuenta para max_tokens. Permita 1,000 tokens o más, no lo configure, o baje reasoning_effort:
response = client.chat.completions.create(
model="broadnet/glm-5.3",
max_tokens=2000,
messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
print("Cut off: raise max_tokens or lower reasoning_effort")
El tamaño del contexto varía según el modelo: 1,048,576 tokens para DeepSeek V4.1 Flash y GLM 5.3, 262,144 para Qwen3.8 27B y 32,768 para BroadNet Gemma 4 VL 26B. Consulte las páginas de modelos y por qué los modelos de razonamiento devuelven respuestas vacías.
Errores comunes
- Copiar un límite pequeño de un modelo sin razonamiento durante una migración. Consulte la lista de verificación de migración.
- Tratar
lengthcomo un éxito. Regístrelo y reintente con más margen.