Ang gastos ng chat ay ang tina-type mo at ang isinusulat ng model. Mas malaki nang husto ang gastos ng agent, dahil dose-dosenang beses itong tumatawag sa model at ipinapadala ulit ang halos lahat sa bawat pagkakataon. Kung gusto mong bawasan ang gastos na iyon, o tumigil lang sa pagtama sa context window, kailangan mong malaman kung aling bahagi ng bawat request ang malaki. Hinahati ng post na ito ang agent loop sa limang bahagi, ipinapakita kung paano sukatin ang bawat isa mula sa sariling usage data ng API, at inililista kung ano ang unang babawasan.
Bakit ipinapadala ulit ng agent ang lahat?
Stateless ang mga chat-completions API. Walang naaalala ang model sa pagitan ng mga tawag, kaya ipinapadala ng agent ang buong context sa bawat hakbang. Ang 40-hakbang na task na may 30,000 token kada tawag ay nagbabasa ng 1.2 milyong input token para makagawa ng siguro 40,000 output token. Dahil sa 30-sa-1 na ratio na iyan kaya ang input token at ang presyo ng cache nito ang pinakamalaking bahagi ng bill ng agent.
Saan napupunta ang mga token?
| Bahagi | Ano ito | Umuulit sa bawat tawag? | Karaniwang sanhi |
|---|---|---|---|
| System prompt | Instruction ng agent, mga rules file, project note | Oo | Mahahabang rules file |
| Tool schema | Pangalan, paglalarawan at JSON Schema ng bawat tool | Oo | Built-in na tools at bawat MCP server |
| History | Mga naunang mensahe, tool call at resulta | Oo, at lumalaki | Mahahabang session |
| Pagbasa ng file at tool output | Laman ng file, test log, resulta ng search | Oo, hanggang alisin | Pagbasa ng buong file, madaldal na command |
| Output | Nakikitang sagot, tool call at reasoning | Hindi | Reasoning effort, pagsulat ulit ng buong file |
Nakapirming overhead ang unang dalawa. Isinulat ng Cursor noong Setyembre 2026 na ang system prompt at tool definition ay “had become one of the largest sources of spend that we fully control” (salin: naging isa sa pinakamalalaking pinagkakagastusan na buo naming kontrolado), at tinawag nito ang pagbasa ng file na “another large source of token spend” (salin: isa pang malaking pinagkakagastusan ng token). Ang mga pagbabago nito, kasama ang pagbawas ng mga dalawang-katlo ng system prompt at ang pag-load lang kapag kailangan ng tools na ginagamit sa wala pang 20% ng usapan, ay nagbawas ng 7% sa gastos sa token ng mga user. Parehong dalawang gastos din ang pinangalanan ng VS Code team ng GitHub para sa Copilot: ang paulit-ulit na prefix ng prompt at ang overhead ng tool definition.
Paano mo ito susukatin?
Hindi mo kailangan ng tracing na produkto. Sapat na ang usage block sa bawat response.
- I-on ang usage. Para sa streaming, idagdag ang
stream_options: {"include_usage": true}; dumarating ang usage sa huling chunk. Tingnan ang streaming. - I-log kada tawag: numero ng hakbang,
prompt_tokens,prompt_tokens_details.cached_tokens,completion_tokensat, kapag iniuulat,completion_tokens_details.reasoning_tokens. - Sukatin nang isang beses ang nakapirming overhead. Magpadala ng isang request na system prompt at tools lang, at ang salitang “hi”. Ang
prompt_tokensnito ang sahig mo. - Sukatin ang output ng isang tool. Bilangin ang mga character ng bawat resulta ng tool bago mo ito i-append. Kapag hinati sa apat, magaspang na bilang ito ng English na token; i-paste ang sample sa libreng token counter para sa eksaktong numero sa tokenizer ng model mo.
r = client.chat.completions.create(model=MODEL, messages=msgs, tools=tools)
u = r.usage
cached = getattr(u.prompt_tokens_details, "cached_tokens", 0) or 0
log.info("step=%d prompt=%d cached=%d out=%d", step, u.prompt_tokens, cached, u.completion_tokens)
I-plot ang prompt_tokens ayon sa hakbang. Kung tuloy-tuloy ang pagtaas, lumalaki ang history. Kung biglang tumalon, may malaking file o log na pumasok sa context. Kung mataas ang sahig, masyadong marami ang tools.
Sa Aider, iniuulat ng /tokens ang laman ng kasalukuyang context, at inaalis ng /drop ang mga file mula rito.
Ano ang unang babawasan?
Isaayos ayon sa laki na pinarami sa bilang ng pag-ulit, hindi ayon sa kung ano ang pinakamadali:
- Hindi ginagamit na tools. Sumasakay ang bawat tool schema sa bawat tawag. Sabi ng gabay ng OpenAI, ang function definition ay “are billed as input tokens” (salin: sinisingil bilang input token) at iminumungkahi nito ang wala pang 20 function sa simula ng turn, bilang maluwag na patakaran. I-disable ang mga MCP server na hindi mo ginagamit sa task na ito; diretsahang sinasabi ng docs ng opencode na kumakain ng context ng model ang mga MCP tool.
- Tool output. Limitahan ang output ng command (huling 200 linya ng test log, hindi 20,000). Ibalik ang resulta ng search bilang path at numero ng linya, saka basahin lang ang kailangan.
- Pagbasa ng file. Basahin ang function, hindi ang buong file. Gumagamit ang repo map ng Aider ng default na 1k-token na budget (
--map-tokens) sa halip na buong file. - History. Magsimula ng bagong task kada pagbabago. Kapag kailangang ituloy ang session, palitan ang mga lumang turn ng maikling buod.
- System prompt. Alisin ang mga patakarang sinusunod na ng model. Panatilihing stable ang iba.
- Output. Humingi ng diff, hindi buong file. I-set ang
reasoning_effortsalowpara sa mga karaniwang hakbang. Sinisingil bilang output ang reasoning token.
Bakit dapat panatilihing stable ang prefix?
Kina-cache ng mga provider ang paulit-ulit na prefix at sinisingil ito sa mas mababang rate. Sa BroadNet Inference, sinisingil ng DeepSeek V4.1 Flash ang cached input sa $0.0055 kada 1M token at ang bagong input sa $0.175. Ang GLM 5.3 ay $0.173 laban sa $0.78. Sinisira ng timestamp sa system prompt, o ng tools na iba ang pagkakasunod sa bawat tawag, ang cache mula sa puntong iyon. Ilagay muna ang mga stable na bahagi, sa nakapirming pagkakasunod, at sa huli ang mga nagbabagong bahagi. Higit pa sa paliwanag sa cached input token; ipinapakita ng prompt caching calculator kung magkano ang natitipid sa isang hit rate.
Pinabababa ng caching ang presyo ng prefix, pero hindi ang laki nito. Pinupuno pa rin ng cached token ang context window at kailangan pa ring iproseso.
Ano ang itsura ng isang halimbawang budget ng agent?
Kunin ang 40-hakbang na task sa itaas, na 80% ng input ay naka-cache:
| Bahagi | Token | Sinisingil sa |
|---|---|---|
| Bagong input | 240,000 | Presyo ng input |
| Cached input | 960,000 | Presyo ng cached input |
| Output kasama ang reasoning | 40,000 | Presyo ng output |
Kapag binawasan ng 5,000 token ng hindi ginagamit na tool schema ang bawat tawag, 200,000 input token ang naaalis sa task na ito, mga isang-kanim ng total, nang walang pagbabago sa kilos ng agent. Para sa mga pingga sa gastos bukod sa pagbabawas, gaya ng pagpili ng model, caching at flat plan, tingnan ang 10 paraan para bawasan ang gastos sa LLM ng coding agent. Para sa multi-agent na setup, i-multiply sa bilang ng agent; tingnan ang magkano ang gastos ng multi-agent na setup. Para i-model ang sarili mong loop hakbang-hakbang, gamitin ang agent run cost estimator.
Saan pumapasok ang BroadNet Inference
Ibinabalik ng BroadNet Inference ang prompt at completion token sa usage block, pati ang cached at reasoning token kapag iniuulat ito ng model, kaya gumagana ang pagsukat sa itaas gaya ng pagkakasulat. Ginagantimpalaan ng mababang presyo ng cached input nito sa DeepSeek V4.1 Flash ang stable na prefix. Kung hindi sulit sa oras mo ang pagbabawas, inaalis ng mga unlimited plan ang token meter para sa DeepSeek V4.1 Flash sa halagang $60 kada buwan kada session; may bisa pa rin ang context window, at mas mabilis pa ring tumakbo ang magaan na context. Nasa inference.broadnet.ai/plans ang mga plan.
