BroadRouter

¿Por qué un modelo de razonamiento devuelve una respuesta vacía?

Actualizado

El modelo gastó todo el presupuesto de max_tokens en razonar antes de empezar la respuesta visible. En BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B razonan primero, y el razonamiento cuenta para max_tokens. Permita 1,000 tokens o más, o ponga reasoning_effort en low.

Usted envía un prompt corto con max_tokens: 100, la solicitud tiene éxito y choices[0].message.content llega vacío. No hay nada roto: la respuesta nunca empezó.

Qué ocurre

Los modelos de razonamiento escriben una cadena de pensamiento oculta antes de la respuesta visible, y ambas comparten un mismo presupuesto de max_tokens. Con un límite pequeño, el razonamiento lo consume entero, y en el formato estándar de chat completions finish_reason es entonces length.

Tres soluciones

1. Deje margen. Ponga max_tokens en 1,000 o más, como aconseja la documentación de BroadNet. La calculadora de max_tokens para modelos de razonamiento dimensiona el límite según la longitud de su respuesta y muestra el costo.

2. Razone menos. Ponga reasoning_effort en low para tareas simples:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Vigile el consumo. Cuando el modelo lo reporta, usage.completion_tokens_details.reasoning_tokens muestra cuánto se fue en razonamiento:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

En streaming, agregue stream_options={"include_usage": True} y el mismo consumo llega en el último fragmento. Consulte streaming de chat completions.

Qué modelos razonan

Modelo Razona primero
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Sí
GLM 5.3 (broadnet/glm-5.3) Sí
Qwen3.8 27B (broadnet/qwen3.8-27b) Sí
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) No indicado

Solución de problemas

  • content vacío y finish_reason es length. Suba max_tokens o ponga reasoning_effort en low.
  • content vacío y finish_reason es stop. El límite no fue la causa. Revise su prompt e imprima la respuesta completa para ver qué llegó.
  • AttributeError en completion_tokens_details. El modelo no reportó el desglose en esa solicitud; compruebe si es None, como en el ejemplo anterior.
  • El primer token tarda en un stream. El modelo está razonando antes de escribir la respuesta. Un reasoning_effort más bajo puede acortar la espera.

Si ejecuta agentes todo el día, los tokens de razonamiento se acumulan en pago por uso. La calculadora de precios de BroadNet muestra cuándo un plan ilimitado de tarifa plana cuesta menos.

Preguntas frecuentes

¿El razonamiento cuesta dinero?

En pago por uso, el razonamiento se reporta dentro de los completion tokens, que se facturan al precio de salida. En un plan ilimitado para DeepSeek V4.1 Flash no hay medidor de tokens, así que no cuestan nada adicional.

¿BroadNet Gemma 4 VL 26B razona?

La documentación de BroadNet indica razonamiento para DeepSeek V4.1 Flash, GLM 5.3 y Qwen3.8 27B, no para Gemma 4 VL 26B.

¿Por qué el contenido del mensaje está vacío cuando finish_reason es length?

El presupuesto de tokens se agotó antes de que empezara la respuesta visible. Un modelo de razonamiento escribe primero su razonamiento, y esos tokens cuentan para max_tokens. Suba max_tokens a 1,000 o más, o reduzca reasoning_effort.

¿Qué hace reasoning_effort en low?

Le pide al modelo que razone menos antes de responder. La documentación de BroadNet lo sugiere como alternativa a un max_tokens mayor cuando un límite corto deja la respuesta vacía. Úselo para tareas simples como clasificación o extracción.

¿Cómo veo cuántos tokens se fueron en razonamiento?

Lea usage.completion_tokens_details.reasoning_tokens en la respuesta, cuando el modelo lo reporte. En streaming, envíe stream_options con include_usage en true y léalo en el último fragmento.

Leer en MarkdownPreguntar a ChatGPTPreguntar a ClaudePreguntar a Perplexity