BroadRouter

max_tokens (límite de tokens de salida)

Actualizado

max_tokens es un parámetro de las APIs de LLM que fija el máximo de tokens que un modelo puede generar en una respuesta. Cuando la generación llega al límite, se detiene y la respuesta queda marcada como cortada, por ejemplo con finish_reason en "length".

También llamado: límite de tokens, máximo de tokens, límite de tokens de salida, longitud máxima de salida, max_tokens, max_completion_tokens, max_output_tokens, output token limit, maximum output length

max_tokens es el presupuesto de salida de una respuesta. Lo protege de respuestas desbocadas, pero si es demasiado bajo corta las respuestas o no devuelve nada.

Cómo funciona

El modelo genera un token a la vez. Cuando la cuenta llega a max_tokens, la generación se detiene, aunque sea a mitad de frase. La respuesta indica entonces por qué terminó:

finish_reason Significado
stop El modelo terminó por su cuenta
length Se alcanzó el límite de max_tokens
tool_calls El modelo pide llamar a una herramienta

El parámetro tiene varios nombres. La API de Chat Completions de OpenAI marca ahora max_tokens como obsoleto en favor de max_completion_tokens, un límite superior que incluye tanto la salida visible como los tokens de razonamiento. La Responses API de OpenAI usa max_output_tokens. La Messages API de Anthropic usa max_tokens. Muchos proveedores compatibles con OpenAI aceptan max_tokens.

El prompt y la salida comparten una misma ventana de contexto. Si la ventana es de 32,768 tokens y el prompt ocupa 30,000, como máximo pueden volver 2,768 tokens, diga lo que diga max_tokens.

Por qué importa

  • Control de costos. En una clave que cobra por token, max_tokens es lo máximo que puede costar una sola respuesta en salida.
  • Respuestas vacías. En los modelos de razonamiento, el pensamiento sale del mismo presupuesto. Un límite de 100 puede gastarse entero en tokens de razonamiento, de modo que la respuesta visible queda vacía y finish_reason es length.
  • JSON roto. Una respuesta cortada deja la salida estructurada incompleta e imposible de parsear. Revise finish_reason antes de parsear.

En BroadNet Inference

DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan antes de responder, y la documentación de BroadNet indica que el razonamiento cuenta para max_tokens. Permita 1,000 tokens o más, no lo configure, o baje reasoning_effort:

response = client.chat.completions.create(
    model="broadnet/glm-5.3",
    max_tokens=2000,
    messages=[{"role": "user", "content": "Summarize this contract clause."}],
)
if response.choices[0].finish_reason == "length":
    print("Cut off: raise max_tokens or lower reasoning_effort")

El tamaño del contexto varía según el modelo: 1,048,576 tokens para DeepSeek V4.1 Flash y GLM 5.3, 262,144 para Qwen3.8 27B y 32,768 para BroadNet Gemma 4 VL 26B. Consulte las páginas de modelos y por qué los modelos de razonamiento devuelven respuestas vacías.

Errores comunes

  • Copiar un límite pequeño de un modelo sin razonamiento durante una migración. Consulte la lista de verificación de migración.
  • Tratar length como un éxito. Regístrelo y reintente con más margen.

Preguntas frecuentes

¿max_tokens es lo mismo que la ventana de contexto?

No. La ventana de contexto es el total que el modelo puede manejar, prompt más salida. max_tokens limita solo la salida, y el prompt más max_tokens debe seguir cabiendo en la ventana.

¿Debo configurar siempre max_tokens?

Configúrelo cuando necesite un tope estricto de costo o de longitud. Deje un margen amplio en los modelos de razonamiento, o no lo configure si el valor predeterminado del proveedor es suficiente.

¿Cuál es la diferencia entre max_tokens y max_completion_tokens?

OpenAI dejó obsoleto max_tokens en Chat Completions en favor de max_completion_tokens, que incluye de forma explícita los tokens de razonamiento. Muchos proveedores compatibles con OpenAI todavía aceptan max_tokens.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity