BroadRouter

Bakit walang laman ang sagot ng isang reasoning model

Na-update

Naubos ng model ang buong max_tokens budget sa reasoning bago pa nito masimulan ang nakikitang sagot. Sa BroadNet Inference, nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, at kasama ang reasoning sa max_tokens. Maglaan ng 1,000 token o higit pa, o i-set ang reasoning_effort sa low.

Nagpadala ka ng maikling prompt na may max_tokens: 100, nagtagumpay ang request, pero walang laman ang choices[0].message.content. Walang sira: hindi lang talaga nagsimula ang sagot.

Ano ang nangyayari

Sumusulat muna ang mga reasoning model ng nakatagong chain of thought bago ang nakikitang sagot. Iisang max_tokens budget ang pinaghahatian ng dalawa. Kapag maliit ang limit, nauubos ito ng reasoning, at sa karaniwang format ng chat completions, length ang magiging finish_reason.

Tatlong ayos

1. Maglaan ng espasyo. I-set ang max_tokens sa 1,000 o higit pa, gaya ng payo ng docs ng BroadNet. Kinukuwenta ng max_tokens calculator para sa mga reasoning model ang limit para sa haba ng sagot mo at ipinapakita ang gastos.

2. Bawasan ang reasoning. I-set ang reasoning_effort sa low para sa mga simpleng task:

import os
from openai import OpenAI

client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])

response = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    reasoning_effort="low",
    max_tokens=1000,
    messages=[{"role": "user", "content": "Classify: 'refund my order' -> intent?"}],
)

3. Bantayan ang usage. Kapag iniuulat ito ng model, ipinapakita ng usage.completion_tokens_details.reasoning_tokens kung gaano karami ang napunta sa reasoning:

print(response.choices[0].finish_reason)                       # "length" means the budget ran out
details = response.usage.completion_tokens_details             # None if the model doesn't report it
print(details.reasoning_tokens if details else "not reported")

Sa isang stream, idagdag ang stream_options={"include_usage": True} at darating ang parehong usage sa huling chunk. Tingnan ang streaming chat completions.

Aling mga model ang nagre-reason

Model Nagre-reason muna
DeepSeek V4.1 Flash (broadnet/deepseek-v4.1-flash) Oo
GLM 5.3 (broadnet/glm-5.3) Oo
Qwen3.8 27B (broadnet/qwen3.8-27b) Oo
BroadNet Gemma 4 VL 26B (broadnet/gemma-4-26b-a4b) Hindi nakalista

Troubleshooting

  • Walang lamang content, length ang finish_reason. Taasan ang max_tokens o i-set ang reasoning_effort sa low.
  • Walang lamang content, stop ang finish_reason. Hindi ang limit ang dahilan. Suriin ang prompt mo at i-print ang buong response para makita kung ano ang bumalik.
  • AttributeError sa completion_tokens_details. Hindi iniulat ng model ang breakdown para sa request na iyon; mag-check para sa None gaya ng nasa example sa itaas.
  • Mabagal ang unang token sa isang stream. Nagre-reason pa ang model bago isulat ang sagot. Puwedeng paikliin ng mas mababang reasoning_effort ang paghihintay.

Kung buong araw kang nagpapatakbo ng mga agent, nag-iipon ang reasoning tokens sa pay-as-you-go. Ipinapakita ng pricing calculator ng BroadNet kung kailan mas mura ang flat na unlimited na plan.

Mga tanong

May bayad ba ang reasoning?

Sa pay-as-you-go, iniuulat ang reasoning sa loob ng completion tokens, na sinisingil sa presyo ng output. Sa unlimited na plan para sa DeepSeek V4.1 Flash, walang token meter, kaya walang dagdag na bayad ang mga ito.

Nagre-reason ba ang BroadNet Gemma 4 VL 26B?

Nakalista sa docs ng BroadNet ang reasoning para sa DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B, hindi para sa Gemma 4 VL 26B.

Bakit walang laman ang message content kapag length ang finish_reason?

Naubos ang token budget bago pa nagsimula ang nakikitang sagot. Isinusulat muna ng reasoning model ang reasoning nito, at kasama ang mga token na iyon sa max_tokens. Taasan ang max_tokens sa 1,000 o higit pa, o babaan ang reasoning_effort.

Ano ang ginagawa ng reasoning_effort na low?

Hinihiling nito sa model na mas kaunti ang reasoning bago sumagot. Iminumungkahi ito ng docs ng BroadNet bilang alternatibo sa mas malaking max_tokens kapag walang laman ang sagot dahil sa maikling limit. Gamitin ito sa mga simpleng task gaya ng classification o extraction.

Paano ko makikita kung ilang token ang napunta sa reasoning?

Basahin ang usage.completion_tokens_details.reasoning_tokens sa response, kung iniuulat ito ng model. Sa isang stream, ipadala ang stream_options na may include_usage na true at basahin ito mula sa huling chunk.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity