Ang coding agent na nagtatrabaho nang isang buong hapon ay nag-iipon ng maraming history: mga file na binasa, command na pinatakbo, test output, plano at pagwawasto. Ipinapadala ulit ang lahat ng iyon sa model sa bawat turn. Kung paano mo i-manage ang lumalaking context na iyon ang nagpapasya ng tatlong bagay nang sabay: ang gastos ng bawat turn, gaano kabilis ito sumagot, at kung naaalala pa ng agent ang ginagawa nito.
Binabago ng 1M-token na window ang mga trade-off. Hindi nito inaalis ang mga ito.
Ano ang naibibigay ng 1M-token na window sa long-running agent?
Sa BroadNet Inference, tumatanggap ang DeepSeek V4.1 Flash at GLM 5.3 ng hanggang 1,048,576 token kada request, prompt at sagot nang magkasama. 262,144 naman ang sa Qwen3.8 27B. Sa mas maliliit na window, kailangang mag-summarise ng agent pagkatapos ng isa o dalawang oras na trabaho. Sa isang milyong token, kadalasang kaya nitong itago ang buong raw na history ng session at mag-compact lang malapit sa dulo ng napakahabang run.
Totoong bentahe iyan: lossy ang mga summary, at bawat summary ay pagkakataong makalimutan ang iisang detalyeng mahalaga. Pero may tatlong gastos na lumalaki pa rin kasabay ng prompt:
- Pera, sa per-token na key, dahil ipinapadala ulit ng bawat turn ang buong prompt.
- Latency, dahil kailangang i-process ng server ang bawat input token bago ang unang output token.
- Atensyon. Puwedeng bumaba ang kalidad habang lumalaki ang input, isang epektong tinatawag na context rot. Natuklasan ng paper na “Lost in the Middle” na mas maaasahang nagagamit ng mga model ang impormasyon sa simula at dulo ng mahabang input kaysa sa nasa gitna. Mas mahusay na ang mga bagong model, pero sulit pa rin ang gawing ilagay ang mahahalagang fact malapit sa mga gilid.
Rule 1: bakit dapat append-only ang history?
Tumutugma ang prompt caching mula sa simula ng prompt. Kung kapareho ng nakaraang turn ang unang 300,000 token ng turn na ito, puwede silang i-serve mula sa cache; tinatapos ng unang nagbagong token ang pagtutugma. Iniuulat ito ng API ng BroadNet sa usage.prompt_tokens_details.cached_tokens kapag iniuulat ito ng model, at mas mababa ang singil sa cached input: $0.0055 kada 1M token sa DeepSeek V4.1 Flash, kumpara sa $0.175 para sa bagong input.
Kaya ayusin ang bawat request sa parehong pagkakasunod-sunod at sa dulo lang palaging magdagdag:
[ system prompt ] never changes during a session
[ tool definitions ] fixed order, never changes
[ project notes ] changes rarely, and only by appending
[ turn 1 ... turn N ] grows at the end
[ new message ]
Ang karaniwang sumisira sa prefix ay timestamp sa system prompt, tool definitions na pabago-bago ang ayos, at pag-re-render ng lumang tool result. Para sa mga agent, may isa pa: “sliding window” na pagbabawas na nagtatanggal ng pinakalumang turn tuwing turn, kaya nauusog ang lahat ng kasunod nito. Ginagawang bagong prompt ng bawat isa sa mga iyan ang naka-cache na prompt; nasa prompt structure para sa caching ang iba pa, kasama ang test na nagpapatunay na naka-cache ang prefix. Malaki ang diperensya sa mahabang session: puwedeng cached input ang karamihan ng prompt sa halip na bagong input. Paano sinisingil ang cached input.
Rule 2: paano sukatin ang cache rate?
I-log ito kada request. Sa OpenAI SDK, tatlong linya pagkatapos ng call ang gagawa nito:
import os
from openai import OpenAI
client = OpenAI(base_url="https://inference.broadnet.ai/v1", api_key=os.environ["BROADNET_API_KEY"])
resp = client.chat.completions.create(model="broadnet/deepseek-v4.1-flash", messages=history, max_tokens=8000)
u = resp.usage
cached = (u.prompt_tokens_details.cached_tokens if u.prompt_tokens_details else 0) or 0
print(f"turn prompt={u.prompt_tokens:,} cached={cached:,} ({cached / max(1, u.prompt_tokens):.0%})")
Ang maayos na append-only na agent ay may mataas na cached share sa bawat turn pagkatapos ng una. Kapag biglang bumagsak ito malapit sa zero, may nagbago sa simula ng prompt. Hanapin ito at i-pin. Ginagawang pera kada session ng prompt caching calculator ang cache rate.
Rule 3: ano ang unang tatanggalin kapag lumalaki ang context?
Kapag kailangan talagang paliitin ang context, mahalaga kung ano ang tatanggalin mo. Sa karamihan ng transcript ng agent, tool output ang pinakamalaking bahagi: isang 4,000-line na test log, buong file na binasa para lang hanapin ang isang function, isang directory listing. Maliit lang ang mahalagang bahagi: ang plano, ang mga desisyon at ang dahilan, ang mga error na naayos.
Pagkakasunod-sunod ng tatanggalin, mula una hanggang huli:
- Lumang tool output. Palitan ang laman ng lumang tool result ng one-line na stub: “ran pytest: 3 failures in test_api.py (fixed in turn 14)”.
- Napalitang laman ng file. Kung binasa ng agent ang
api.py, in-edit ito, saka binasa ulit, patay na bigat na ang unang pagbasa. - Explorasyong walang kinahinatnan. Mga search at pagbasa na hindi humantong sa pagbabago.
- Reasoning at mga plano. Ito ang pinakamatagal na itago. Ipinapaliwanag nito kung bakit ganoon ang itsura ng code.
Mas maganda pa kung puputulin ang tool output sa mismong sandaling ginawa ito. Lagyan ng cap ang bawat tool result (halimbawa, ang huling 200 linya ng log kasama ang bilang ng linya) at hayaang humingi pa ang agent kung kailangan. Napapanatili nitong append-only at maliit ang history.
Rule 4: kailan dapat mag-compact ng history ang agent?
Ang compaction (pag-summarise ng mas lumang history sa mas maikling block) ang mabigat na kasangkapan. Nire-rewrite nito ang prefix, kaya ang turn pagkatapos ng compaction ay nagbabayad ng buong presyo ng input para sa lahat ng nasa likod ng system prompt. Kung kaunti-kaunting mag-compact tuwing ilang turn, paulit-ulit mong binabayaran ang presyong iyon.
Mas mabuti:
- Pumili ng mataas na threshold. Sa 1M window, ang pag-compact kapag, halimbawa, 60–70% na ang puno ay nag-iiwan ng espasyo para sa summary turn at mahabang buntot ng bagong trabaho.
- Panatilihing verbatim ang recent na buntot. I-summarise ang lumang bahagi at iwanang buo ang huling mga turn. Inilalarawan ito ng compaction docs ng opencode: sina-summarise nito ang usapan at iniiwan ang pinakabagong bahagi, mga 15,000 token sa default.
- Mag-summarise gamit ang buong prompt. Kapag ipinadala ang buong usapan sa summary request, magagamit nito ulit ang cache mula sa nakaraang turn.
- Mag-compact nang isang beses, saka mag-append ulit. Pagkatapos ng compaction, stable ang bagong prefix, at doon magpapatuloy ang caching.
Rule 5: ano ang dapat ilagay sa notes file?
May mga fact na dapat makaligtas sa kahit ilang compaction: ang layunin, ang mga limitasyon, ang mga desisyong nagawa, ang mga command na nagbi-build at nagte-test ng project. Itago ang mga ito sa maikling notes file (isang NOTES.md o task file) na dinadagdagan at binabasa ulit ng agent. Malapit ito sa itaas ng prompt, bihirang magbago, at ito ang unang binabasa ng bagong session kapag nag-restart ang run.
Ito rin ang pinakamurang anyo ng memory: ilang libong token na nagliligtas sa agent mula sa muling pagtuklas ng parehong mga fact pagkatapos ng bawat summary.
Paano naaapektuhan ng reasoning token ang budget?
Nagre-reason muna ang DeepSeek V4.1 Flash, GLM 5.3 at Qwen3.8 27B bago sumagot, at kasama ang reasoning sa max_tokens. Hindi iyon binabago ng mahabang session, pero tinutukso ng malalaking prompt ang mga tao na babaan ang max_tokens para “makatipid ng espasyo”. Huwag. Ang masikip na output budget ay nagbubunga ng walang lamang sagot, na ire-retry naman ng agent. Bakit walang laman ang mga sagot.
Tandaan din na magkasamang binibilang ng window ang prompt at sagot. Kapag malapit na sa 1,048,576 token ang prompt, wala nang espasyo para sumagot. Mag-compact bago umabot doon; ipinapakita ng context window calculator kung gaano kalaking espasyo ang iniiwan ng isang prompt.
Mahalaga ba ito sa flat na plan?
Sa plan session ng BroadNet, walang token meter ang DeepSeek V4.1 Flash: $60 kada buwan ang isang Full Moon session gaano man kahaba ang mga prompt. Nawawala ang argumento tungkol sa pera para sa caching. Hindi nawawala ang dalawa pa. Karaniwang mas mabilis i-process ang naka-cache na prefix sa maraming serving system, at mas magaganda ang sagot kapag maayos ang context. Pareho ang mga gawi; ang dahilan lang ang nagbabago. Paano gumagana ang plan session.
Checklist ng context management
- Fixed ang system prompt at listahan ng tools sa buong session.
- Ina-append lang ang history; hindi kailanman nire-reformat ang lumang turn.
- Naka-log ang cache rate kada request.
- May cap ang tool output pagkagawa nito; ginagawang stub ang lumang output pagkatapos.
- Compaction sa mataas na threshold, verbatim ang recent na buntot.
- Notes file na may layunin, limitasyon at mga desisyon.
- Sapat ang laki ng output budget para sa reasoning.
Para sa higit pa tungkol sa kung kailan talaga sulit gamitin ang isang milyong token na window, tingnan ang gabay sa 1M context window. Para sa pagpapahinto ng mga session na lumalaki pero hindi umuusad, tingnan ang cost control sa agent loop.
