Un modelo de razonamiento piensa antes de responder, y en la mayoría de las API compatibles con OpenAI ambas cosas salen de un mismo presupuesto: max_tokens. Si lo configura como para un modelo sin razonamiento, unos cientos de tokens para una respuesta corta, algunas respuestas vuelven vacías con finish_reason: "length". La solución rápida está en por qué un modelo de razonamiento devuelve una respuesta vacía. Este artículo explica el método para obtener un presupuesto fiable: medir, dimensionar a partir de percentiles, respetar la ventana de contexto y gestionar las respuestas que aun así se cortan.
Para saber cuánto cuesta el razonamiento y cómo reducirlo, consulte tokens de razonamiento: por qué paga más salida de la que ve.
¿Por qué se agota el presupuesto antes de la respuesta?
El modelo genera en orden: primero su razonamiento, luego la respuesta visible. Cada token de ambos cuenta para max_tokens. La documentación de BroadNet lo dice para DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B: “the reasoning counts toward max_tokens” (Traducción: el razonamiento cuenta para max_tokens), y con un límite pequeño “the answer comes back empty” (Traducción: la respuesta vuelve vacía). La referencia de Chat Completions de OpenAI define max_completion_tokens de la misma manera, como un límite superior “including visible output tokens and reasoning tokens” (Traducción: que incluye los tokens de salida visibles y los tokens de razonamiento).
Así que la pregunta no es “¿cuánto mide mi respuesta?”, sino “¿cuánto miden razonamiento y respuesta juntos, en esta tarea y con este esfuerzo?”. Y eso varía más de lo que se suele pensar. La guía de OpenAI dice que sus modelos pueden generar “anywhere from a few hundred to tens of thousands of reasoning tokens” (Traducción: desde unos cientos hasta decenas de miles de tokens de razonamiento), según el problema.
¿Un max_tokens mayor cuesta más?
No. Este es el motivo más común por el que los presupuestos se fijan demasiado ajustados. max_tokens es un techo. Se le factura por los tokens realmente generados. Una respuesta que necesita 1,800 tokens cuesta lo mismo con un techo de 4,000 que de 40,000.
Lo que sí cuesta un techo ajustado:
| Techo frente a necesidad | Lo que paga | Lo que obtiene |
|---|---|---|
| Techo por encima de la necesidad | Los tokens generados | La respuesta |
| Techo por debajo de la necesidad | El techo completo, todo en razonamiento | Nada utilizable, más un reintento |
Tome un ejemplo ilustrativo. Suponga que una cuarta parte de sus llamadas necesita más de 1,000 tokens. Con max_tokens=1000, cada una de esas llamadas factura 1,000 tokens de salida de razonamiento, no devuelve nada y se reintenta. Eso suma, en promedio, 250 tokens de salida desperdiciados por llamada en el conjunto de todas las llamadas, antes de contar los propios reintentos, más la latencia de una segunda solicitud. Con el techo en 4,000 no se desperdicia nada. En Qwen3.8 27B, la salida cuesta $2.17 por 1M de tokens, así que el desperdicio se acumula con el volumen.
El riesgo real de un techo alto es una respuesta desbocada: un modelo que entra en bucle o razona en exceso y genera mucho más de lo necesario. Un tope fijo acota ese riesgo. Elija el tope a partir de datos, como se explica a continuación.
¿Cómo se mide lo que necesita una tarea?
Ejecute prompts reales de un solo tipo de tarea con un techo generoso y registre los tokens de completion y la parte de razonamiento. Cuando el modelo lo reporta, usage.completion_tokens_details.reasoning_tokens da la parte de razonamiento; la documentación de BroadNet incluye ese campo.
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
MODEL = "broadnet/qwen3.8-27b"
def measure(prompts, ceiling=16_000, **kw):
"""Run real prompts with a generous ceiling and return per-call token counts."""
rows = []
for p in prompts:
r = client.chat.completions.create(model=MODEL, max_tokens=ceiling,
messages=[{"role": "user", "content": p}], **kw)
u, d = r.usage, r.usage.completion_tokens_details
reasoning = (d.reasoning_tokens or 0) if d else 0
rows.append({"reasoning": reasoning, "answer": u.completion_tokens - reasoning,
"finish": r.choices[0].finish_reason})
return rows
def pct(values, q):
values = sorted(values)
return values[min(len(values) - 1, int(q * len(values)))]
def recommend(rows, margin=1.2):
total = [r["reasoning"] + r["answer"] for r in rows]
return {"p50": pct(total, 0.5), "p95": pct(total, 0.95), "max": max(total),
"max_tokens": int(pct(total, 0.95) * margin),
"cut_off": sum(r["finish"] == "length" for r in rows)}
# print(recommend(measure(my_prompts))) # default effort
# print(recommend(measure(my_prompts, reasoning_effort="low")))
Reglas para obtener un número fiable:
- Un tipo de tarea por ejecución. La clasificación, la extracción, la revisión de código y la planificación tienen distribuciones muy distintas. Un único
max_tokensglobal o desperdicia dinero en reintentos o deja pasar respuestas desbocadas. - 50 o más prompts reales. El percentil 95 de diez muestras es simplemente la mayor.
- Ejecútelo con cada esfuerzo que use.
reasoning_effort="low"cambia la distribución. BroadNet documentalow; pruebe otros valores antes de depender de ellos. - Si
cut_offno es cero, suba el techo y vuelva a ejecutar. Una muestra cortada oculta su longitud real. - Vuelva a medir cuando cambie el modelo o el prompt. Una nueva versión del modelo puede razonar más o menos.
Después, fije max_tokens por tarea a partir de recommend(). El percentil 95 más un 20 % deja la mayoría de las llamadas muy por debajo del techo y solo envía la rara llamada larga a la ruta de reintento que se describe más abajo. La herramienta gratuita de presupuesto de tokens de razonamiento hace este cálculo en su navegador cuando tenga sus cifras.
¿Cómo limita la ventana de contexto el presupuesto?
La ventana de contexto contiene el prompt y la respuesta juntos. El feed de precios de BroadNet define context_length como “the most tokens one request can hold, prompt and answer together” (Traducción: el máximo de tokens que puede contener una solicitud, prompt y respuesta juntos). Por lo tanto:
max_tokens ≤ longitud de contexto − tokens del prompt
| Modelo | Contexto | Espacio para max_tokens con un prompt de 200,000 tokens |
|---|---|---|
| GLM 5.3 | 1,048,576 | 848,576 |
| DeepSeek V4.1 Flash | 1,048,576 | 848,576 |
| Qwen3.8 27B | 262,144 | 62,144 |
Esto importa en el trabajo con contexto largo. Un agente cuyo historial ha crecido hasta 250,000 tokens en Qwen3.8 27B solo tiene unos 12,000 tokens libres para razonar y responder. Las tareas de contexto largo además tienden a requerir más razonamiento, así que compruebe el espacio restante en el momento de la llamada, no una sola vez al iniciar. Ventana de contexto y la calculadora de ventana de contexto cubren el ajuste.
¿Qué hacer cuando una respuesta sigue cortándose?
Compruebe finish_reason en cada llamada. Si es length, la respuesta falta o está incompleta, aunque content tenga algo de texto. No la procese como si estuviera completa; un objeto JSON truncado es una fuente habitual de errores posteriores (salida estructurada).
Reintente con el doble de presupuesto, dentro del espacio que permita el contexto, hasta un tope fijo:
import json, urllib.request
FEED = json.load(urllib.request.urlopen("https://inference.broadnet.ai/pricing.json"))
CONTEXT = {m["id"]: m.get("context_length") for m in FEED["models"]}
def ask(model, messages, budget=4_000, hard_cap=32_000, **kw):
"""Retry a cut-off reply with a doubled budget, never past the cap or the context window."""
while True:
r = client.chat.completions.create(model=model, messages=messages,
max_tokens=budget, **kw)
if r.choices[0].finish_reason != "length":
return r
room = CONTEXT[model] - r.usage.prompt_tokens # context holds prompt + answer
nxt = min(budget * 2, hard_cap, room)
if nxt <= budget:
raise RuntimeError(f"still cut off at max_tokens={budget}")
print(f"cut off at {budget}, retrying with {nxt}")
budget = nxt
Dos alternativas a duplicar, según la tarea:
- Reintente con
reasoning_effort="low"y el mismo presupuesto. En tareas sencillas el modelo suele razonar en exceso, y menos esfuerzo lo resuelve sin un techo mayor. - Divida la tarea. Si una respuesta sigue chocando con un tope alto, normalmente la solicitud pide demasiado de una vez.
Registre cada corte con el tipo de tarea. Una tasa creciente significa que cambió el prompt, el modelo o los datos de entrada, y que hay que volver a medir el presupuesto. Los reintentos son nuevas inferencias y se facturan de nuevo, así que mantenga acotado el número de intentos, como en agentes de larga duración: timeouts y reintentos.
¿Cómo cambia el panorama con streaming?
Con stream=True, el razonamiento ocurre antes del primer token visible, así que un modelo de razonamiento puede parecer detenido al principio. En una interfaz de chat, muestre un estado de “pensando” hasta que llegue el contenido y dimensione los timeouts del cliente para el tiempo de razonamiento, no solo para la respuesta.
Algunos servidores también transmiten el propio texto del razonamiento, en un campo aparte. El nombre no es estándar: la API de DeepSeek usa reasoning_content, y vLLM renombró su campo de reasoning_content a reasoning, advirtiendo que el código cliente antiguo “could silently read an empty” (Traducción: podría leer en silencio un campo vacío). La documentación de BroadNet no documenta un campo de texto de razonamiento, así que no construya funciones sobre él sin revisar la respuesta sin procesar de su modelo. Si lo lee, hágalo de forma defensiva:
for chunk in stream:
if chunk.choices:
delta = chunk.choices[0].delta
thinking = getattr(delta, "reasoning", None) or getattr(delta, "reasoning_content", None)
# log or display `thinking` only if your provider actually sends it
if delta.content:
print(delta.content, end="")
elif chunk.usage: # last chunk, with include_usage
print("\nreasoning tokens:", getattr(chunk.usage.completion_tokens_details, "reasoning_tokens", None))
El usage del último fragmento requiere stream_options={"include_usage": True}, que BroadNet documenta. Más sobre streams en la guía de streaming y en SSE explicado.
¿Qué nombre de parámetro debe enviar?
| API | Parámetro | Incluye razonamiento |
|---|---|---|
| OpenAI Chat Completions | max_completion_tokens (max_tokens obsoleto) |
Sí |
| OpenAI Responses | max_output_tokens |
Sí |
| BroadNet Inference (Chat Completions) | max_tokens, según su documentación |
Sí |
| Servidores vLLM | max_tokens, más thinking_token_budget opcional |
Sí |
Al mover código entre proveedores, envíe el nombre que documenta el proveedor y confirme con una llamada de prueba que el límite se aplica. Un límite ignorado en silencio parece correcto hasta que llega una respuesta desbocada. La lista de verificación de migración cubre los demás parámetros que cambian.
Dónde encaja BroadNet Inference
Los tres modelos de razonamiento de BroadNet reportan los tokens de razonamiento en usage cuando el modelo los proporciona, así que la medición anterior funciona tal como está escrita. DeepSeek V4.1 Flash y GLM 5.3 dan el mayor margen, con 1,048,576 tokens de contexto. Qwen3.8 27B tiene 262,144. Si una tarea no necesita razonamiento, Gemma 4 VL 26B no figura como modelo de razonamiento y evita la cuestión del presupuesto por completo. En un plan de DeepSeek V4.1 Flash de tarifa plana, los tokens de razonamiento no tienen cargo por token, pero las respuestas cortadas siguen costando tiempo, así que el mismo método de presupuesto aplica. BroadNet no documenta un límite de razonamiento aparte; si lo necesita, use un proveedor o un servidor autoalojado que lo ofrezca.
