BroadRouter

Por que um modelo de raciocínio devolve uma resposta vazia

Atualizado em

O modelo gastou todo o orçamento de max_tokens raciocinando antes de começar a resposta visível. Na BroadNet Inference, DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B raciocinam primeiro, e o raciocínio conta no max_tokens. Reserve 1.000 tokens ou mais, ou defina reasoning_effort como low.

Você envia um prompt curto com max_tokens: 100, a requisição dá certo e choices[0].message.content vem vazio. Nada quebrou: a resposta nunca começou.

O que acontece

Modelos de raciocínio escrevem uma cadeia de pensamento oculta antes da resposta visível. As duas partes dividem um único orçamento de max_tokens. Com um limite pequeno, o raciocínio consome tudo e, no formato padrão de chat completions, o finish_reason passa a ser length.

Três soluções

1. Deixe espaço. Defina max_tokens como 1.000 ou mais, como recomenda a documentação da BroadNet. A calculadora de max_tokens para modelos de raciocínio dimensiona o limite para o tamanho da sua resposta e mostra o custo.

2. Raciocine menos. Para tarefas simples, defina reasoning_effort como low:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Acompanhe o usage. Quando o modelo informa, usage.completion_tokens_details.reasoning_tokens mostra quanto foi para o raciocínio:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Os comentários no código lembram que "length" significa que o orçamento acabou e que completion_tokens_details é None quando o modelo não informa o detalhamento.

Em streaming, adicione stream_options={"include_usage": True} e o mesmo usage chega no último chunk. Veja streaming de chat completions.

Quais modelos raciocinam

Modelo Raciocina antes de responder
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Sim
GLM 5.3 (broadnet/glm-5.3) Sim
Qwen3.8 27B (broadnet/qwen3.8-27b) Sim
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Não listado

Solução de problemas

  • content vazio, finish_reason é length. Aumente o max_tokens ou defina reasoning_effort como low.
  • content vazio, finish_reason é stop. O limite não foi a causa. Revise o prompt e imprima a resposta completa para ver o que voltou.
  • AttributeError em completion_tokens_details. O modelo não informou o detalhamento nessa requisição; trate o caso None como no exemplo acima.
  • Primeiro token lento em streaming. O modelo está raciocinando antes de escrever a resposta. Um reasoning_effort menor pode encurtar a espera.

Se você roda agentes o dia todo, os tokens de raciocínio se acumulam no pagamento por uso. A calculadora de preços da BroadNet mostra quando um plano ilimitado de preço fixo sai mais barato.

Perguntas frequentes

O raciocínio é cobrado?

No pagamento por uso, o raciocínio entra nos completion tokens, cobrados pelo preço de saída. Num plano ilimitado do DeepSeek V4.1 Flash não há medidor de tokens, então ele não custa nada a mais.

O BroadNet Gemma 4 VL 26B raciocina?

A documentação da BroadNet lista raciocínio para DeepSeek V4.1 Flash, GLM 5.3 e Qwen3.8 27B, não para o Gemma 4 VL 26B.

Por que o content da mensagem vem vazio quando o finish_reason é length?

O orçamento de tokens acabou antes de a resposta visível começar. Um modelo de raciocínio escreve o raciocínio primeiro, e esses tokens contam no max_tokens. Aumente o max_tokens para 1.000 ou mais, ou reduza o reasoning_effort.

O que faz o reasoning_effort low?

Pede ao modelo que raciocine menos antes de responder. A documentação da BroadNet sugere essa opção como alternativa a um max_tokens maior quando um limite curto deixa a resposta vazia. Use em tarefas simples, como classificação ou extração.

Como vejo quantos tokens foram para o raciocínio?

Leia usage.completion_tokens_details.reasoning_tokens na resposta, quando o modelo informar esse valor. Em streaming, envie stream_options com include_usage true e leia o valor no último chunk.

Ler em MarkdownPerguntar ao ChatGPTPerguntar ao ClaudePerguntar ao Perplexity