BroadRouter

Reasoning token: bakit mas maraming output ang binabayaran mo

Ng BroadNet Inference team · 4 minutong basa · Nailathala · Na-update

Sumusulat ang reasoning model ng nakatagong pag-iisip bago ang sagot nito, at sinisingil ang mga reasoning token na iyon sa presyo ng output. Puwedeng may kasamang 1,000 o higit pang token ng pag-iisip ang sagot na 200 token. Sa BroadNet Inference, nagre-reason ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B. Pababain ang gastos gamit ang reasoning_effort na low, makatwirang max_tokens, at non-reasoning model para sa mga simpleng hakbang.

Nagpadala ka ng maikling tanong, dalawang linya ang sagot, at 1,400 output token ang nasa bill. Walang mali. Nag-isip muna ang model bago sumagot, at sinisingil ang pag-iisip. Ipinapaliwanag ng post na ito kung paano binibilang ang reasoning token, magkano ang mga ito sa bawat model, at ang apat na setting na kumokontrol sa mga ito.

Ano ang reasoning token?

Sumusulat ang reasoning model ng internal na chain of thought, saka ang nakikitang sagot. Pareho silang lumalabas sa iisang generation. Gawa sa mga reasoning token ang pag-iisip. Sa standard na chat-completions response, nasa message.content ang sagot, at binibilang ang pag-iisip pero hindi ipinapakita.

Diretsong sinasabi ng reasoning guide ng OpenAI ang patakaran: ang reasoning token ay “still occupy space in the model’s context window and are billed as” output token (salin: umookupa pa rin ng espasyo sa context window ng model at sinisingil bilang output token). Ganito rin ang patakaran ng ibang provider.

Paano sinisingil ang reasoning token?

Bahagi ang mga ito ng completion_tokens, kaya presyo ng output ang binabayaran. Output ang mahal na metro:

Model Nagre-reason muna Output kada 1M Input kada 1M
DeepSeek V4.1 Flash Oo $0.52 $0.175
GLM 5.3 Oo $3.46 $0.78
Qwen3.8 27B Oo $2.17 $0.175
Gemma 4 VL 26B Hindi nakalista $0.22 $0.10

Mga presyo ng BroadNet Inference ito, na-sync noong 2026-11-14. Nasa table ng presyo ng LLM API kung magkano ang singil ng ibang host para sa parehong mga model, halimbawa ang GLM 5.3 sa iba’t ibang provider.

Gaano kalaki ang maidadagdag ng reasoning sa bill?

Halimbawa, isang classifier na nagbabalik ng label na isang salita, mga 10 nakikitang token. Kung 1,000 token muna ang pag-iisip ng model, 99% ng output bill ay pag-iisip.

Sa malaking scale: ang 1,000 sagot na may tig-1,000 reasoning token ay nagdadagdag ng 1M output token. $0.52 iyan sa DeepSeek V4.1 Flash, $2.17 sa Qwen3.8 27B at $3.46 sa GLM 5.3, dagdag pa sa mga nakikitang sagot.

Nag-iiba ang dami ayon sa gawain. Puwedeng umabot sa libu-libong token ang mahirap na math o reasoning sa code na maraming file. Halos wala namang kailangan ang isang pagbati. Kaya ka sumusukat.

Paano sukatin ang reasoning token?

Iniuulat ang mga ito ng usage block kapag ibinibigay ng model ang bilang:

r = client.chat.completions.create(
    model="broadnet/deepseek-v4.1-flash",
    messages=[{"role": "user", "content": "Is 'refund my order' a billing or shipping intent?"}],
    max_tokens=1000,
)
u = r.usage
reasoning = (u.completion_tokens_details.reasoning_tokens or 0) if u.completion_tokens_details else 0
print("output:", u.completion_tokens, "reasoning:", reasoning,
      "share:", round(reasoning / max(u.completion_tokens, 1), 2))

I-log ito kada uri ng gawain sa loob ng isang linggo. Kadalasan, ilang gawain lang ang may pananagutan sa karamihan ng pag-iisip. Kapag streaming, idagdag ang stream_options: {"include_usage": true}; dumarating ang mga bilang sa huling chunk (gabay sa streaming).

Apat na paraan para kontrolin ang gastos ng reasoning

1. Babaan ang reasoning_effort para sa mga simpleng gawain

Hinihiling ng reasoning_effort sa model na mag-isip nang mas kaunti. Gumagamit ang mga gabay ng BroadNet ng low para sa classification, extraction at formatting:

client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", reasoning_effort="low",
                               max_tokens=1000, messages=msgs)

Nagdo-document ang OpenAI ng mas malawak na hanay ng value sa sarili nitong mga model, mula none at minimal, dumaraan sa low, medium at high, hanggang xhigh at max, at sinasabi nitong “some models support only a subset” (salin: ilang model ay sumusuporta lang sa bahagi ng mga ito). Alamin kung aling mga value ang tinatanggap ng model mo, at ihambing ang output token bago at pagkatapos sa parehong mga sample.

2. Gamitin ang max_tokens bilang kisame, hindi pang-ipit

Sabay na nililimitahan ng max_tokens ang reasoning at ang sagot. Pinipigilan nito ang sagot na hindi na matapos, pero kung masyadong mababa ang set mo, puwedeng gugulin ng model ang buong budget sa pag-iisip at magbalik ng walang lamang sagot na may finish_reason: "length". Babayaran mo ang pag-iisip na iyon at kailangan mo pa ring mag-retry. Iminumungkahi ng BroadNet ang 1,000 token o higit pa para sa mga reasoning model. Bakit walang laman ang sagot ng reasoning model.

3. I-route ang madadaling hakbang sa model na hindi nagre-reason

Hindi lahat ng hakbang ay nangangailangan ng pag-iisip. Puwedeng ipasa ang pag-format ng JSON, pagpapalit ng pangalan ng field o pagsagot sa FAQ lookup sa Gemma 4 VL 26B sa $0.22 kada 1M output, na walang nakalistang reasoning sa BroadNet. Ilaan ang mga reasoning model para sa pagpaplano, debugging at mga sagot na maraming hakbang. I-test ang kalidad sa sarili mong mga sample bago mag-route.

4. Tanggalin ang “think step by step” sa mga prompt

Nag-iisip na ang mga reasoning model. Kapag humingi ka pa ng nakikitang step-by-step na reasoning, dalawang beses nila itong isusulat: isang nakatago, isa sa sagot. Hingin ang huling sagot sa format na kailangan mo.

Aling setting ang gagamitin para sa aling gawain?

Gawain Reasoning effort max_tokens Mungkahing model
Classification, routing low 1,000 Gemma 4 VL 26B o DeepSeek V4.1 Flash
Extraction papuntang JSON low 1,000 hanggang 2,000 DeepSeek V4.1 Flash, GLM 5.3 para sa structured output
Pag-draft ng sagot sa customer low o default 2,000 DeepSeek V4.1 Flash
Debugging, pagpaplano, code review default o mas mataas 8,000 o walang set DeepSeek V4.1 Flash o GLM 5.3

Panimulang punto lang ang mga ito. Sukatin ang output token at kalidad sa sarili mong data, saka mag-adjust.

Kailan wala nang dagdag na gastos ang reasoning?

Sa flat plan. $60 kada buwan kada session ang Full Moon plan ng BroadNet para sa unlimited na DeepSeek V4.1 Flash na walang token meter, kaya walang per-token na gastos ang mga reasoning token. Kumakain pa rin ang mga ito ng oras: sa karaniwang bilis na mga 100 token bawat segundo, nabubuo ang bawat reasoning token bago magsimula ang sagot, kaya naaantala ang sagot kapag mahaba ang pag-iisip. Kailan mas sulit ang flat plan kaysa per-token, at sampu pang paraan para bawasan ang bill ng coding agent.

Saan bagay ang BroadNet Inference

Nagpapatakbo ang BroadNet ng tatlong reasoning model at isang model na walang nakalistang reasoning sa iisang OpenAI-compatible key sa https://inference.broadnet.ai/v1, at iniuulat ang usage sa bawat response. Kaya madaling mag-route ayon sa gawain at sukatin ang pagkakaiba. Kung kailangan mo ng closed model na may nakikitang reasoning summary, gamitin ang API ng vendor na iyon; walang closed model sa chat catalogue ng BroadNet. Tingnan ang mga plan.

Mga tanong

Sinisingil ba ang reasoning token bilang input o output?

Bilang output. Ginagawa ang mga ito ng model, iniuulat sa loob ng completion_tokens at sinisingil sa presyo ng output kada 1M token.

Puwede ko bang i-off nang tuluyan ang reasoning?

Nakadepende sa model. Nagdo-document ang OpenAI ng mga effort value na puwedeng kasama ang none o minimal sa ilang model. Sa BroadNet, i-set ang reasoning_effort sa low, o gamitin ang Gemma 4 VL 26B, na walang nakalistang reasoning sa BroadNet.

Nakakatipid ba ang mababang max_tokens sa mga reasoning model?

Bahagya lang. Nililimitahan nito ang bill, pero kung maubos ng reasoning ang buong budget, babayaran mo ang pag-iisip at walang laman ang makukuha mong sagot. Babaan na lang ang effort, at panatilihin ang max_tokens sa 1,000 o higit pa.

Nakikita ko ba ang text ng reasoning?

Kadalasang hindi sa content field. Iniuulat ng usage block kung ilang reasoning token ang nagamit, kapag iniuulat ito ng model, sa completion_tokens_details.reasoning_tokens.

Basahin bilang MarkdownTanungin ang ChatGPTTanungin ang ClaudeTanungin ang Perplexity